mac 下 hadoop-0.20.2单机版环境安装

1 安装java环境安装

略…

hehaibolocal:~ hehaibo$ java -version

java version "1.8.0_91"

Java(TM) SE Runtime Environment (build 1.8.0_91-b14)

Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

hehaibolocal:~ hehaibo$ 

2 hadoop 安装

从 https://archive.apache.org/dist/hadoop/common/hadoop-0.20.2/hadoop-0.20.2.tar.gz 下载到 磁盘 /Users/hehaibo/hadoop/ 

执行

hehaibolocal:hadoop hehaibo$ tar xvf hadoop-0.20.2.tar.gz

安装后的目录如下:/Users/hehaibo/hadoop/hadoop-0.20.2

 

3 配置hadooop环境变量

sudo vi /etc/profile

输入:

HADOOP_HOME=/Users/hehaibo/hadoop/hadoop-0.20.2

PATH=".;$PATH:/usr/local/bin:$JAVA_HOME/bin:$ANT_HOME/bin:$MAVEN_HOME/bin:$HADOOP_HOME/bin

4 验证安装的版本

hehaibolocal:hadoop-0.20.2 hehaibo$ hadoop version

Hadoop 0.20.2

Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707

Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010

hehaibolocal:hadoop-0.20.2 hehaibo$ 

5 配置hadoop环境

5.1 配置conf/core-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<!-- 设置namenode所在主机,端口号是9000 -->

<name>fs.default.name</name>

<value>hdfs://localhost:9000/</value>

</property>

</configuration>

5.2 配置conf/hdfs-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<!-- 设置HDFS文件系统的元信息保存目录,可以设置多个,逗号分割 -->

<property>

<name>dfs.data.dir</name>

<value>/Users/hehaibo/hadoop/hadoop-0.20.2-tmp/hadoop-data</value>

</property>

<!-- 设置HDFS文件系统的数据保存在什么目录下,可以设置多个,逗号分割 -->

<property>

<name>dfs.name.dir</name>

<value>//Users/hehaibo/hadoop/hadoop-0.20.2-tmp/hadoop-name</value>

</property>

<property>

<!-- 设置数据块的复制次数,默认是3,如果slave节点数少于3,则写成相应的1或者2 -->

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

5.3 配置conf/mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<!-- 设置jobtracker所在机器,端口号9001 -->

<name>mapred.job.tracker</name>

<value>localhost:8021</value>

</property>

</configuration>

6 配置ssh免密码登录

% sudo apt-get install ssh

% ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 

% cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

--免登成功
hehaibolocal:~ hehaibo$ ssh localhost

Last login: Thu Jul 19 16:30:48 2018

hehaibolocal:~ hehaibo$ 


7 修改conf/hadoop-env.sh 增加java环境变量

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home/

8 hadoop 格式化hdfs文件系统

% hadoop namenode -format


hehaibolocal:~ hehaibo$ hadoop namenode -format

18/07/19 16:50:25 INFO namenode.NameNode: STARTUP_MSG: 

/************************************************************

STARTUP_MSG: Starting NameNode

STARTUP_MSG:   host = hehaibolocal.local/172.17.11.24

STARTUP_MSG:   args = [-format]

STARTUP_MSG:   version = 0.20.2

STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010

************************************************************/

18/07/19 16:50:26 INFO namenode.FSNamesystem: fsOwner=hehaibo,staff,access_bpf,everyone,localaccounts,_appserverusr,admin,_appserveradm,_lpadmin,_appstore,_lpoperator,_developer,_analyticsusers,com.apple.access_ftp,com.apple.access_screensharing,com.apple.access_ssh-disabled

18/07/19 16:50:26 INFO namenode.FSNamesystem: supergroup=supergroup

18/07/19 16:50:26 INFO namenode.FSNamesystem: isPermissionEnabled=true

18/07/19 16:50:26 INFO common.Storage: Image file of size 97 saved in 0 seconds.

18/07/19 16:50:26 INFO common.Storage: Storage directory /Users/hehaibo/hadoop/hadoop-0.20.2-tmp/hadoop-name has been successfully formatted.

18/07/19 16:50:26 INFO namenode.NameNode: SHUTDOWN_MSG: 

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at hehaibolocal.local/172.17.11.24

************************************************************/

9 启动hadoop环境

9.1启动

hehaibolocal:~ hehaibo$ start-dfs.sh

namenode running as process 5375. Stop it first.

localhost: starting datanode, logging to /Users/hehaibo/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hehaibo-datanode-hehaibolocal.local.out

localhost: starting secondarynamenode, logging to /Users/hehaibo/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hehaibo-secondarynamenode-hehaibolocal.local.out

hehaibolocal:~ hehaibo$ start-mapred.sh 

starting jobtracker, logging to /Users/hehaibo/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hehaibo-jobtracker-hehaibolocal.local.out

localhost: starting tasktracker, logging to /Users/hehaibo/hadoop/hadoop-0.20.2/bin/../logs/hadoop-hehaibo-tasktracker-hehaibolocal.local.out

9.2查看启动进程

hehaibolocal:~ hehaibo$ jps

5603 DataNode

5669 SecondaryNameNode

5770 TaskTracker

5710 JobTracker

5375 NameNode

9.3 浏览器访问:

http://localhost:50070/dfshealth.jsp

http://localhost:50030/jobtracker.jsp

10 停止hadoop服务

hehaibolocal:~ hehaibo$ stop-dfs.sh 

stopping namenode

localhost: stopping datanode

localhost: stopping secondarynamenode

hehaibolocal:~ hehaibo$ stop-mapred.sh 

stopping jobtracker

localhost: stopping tasktracker

hehaibolocal:~ hehaibo$ 

 

Java开发牛人十大必备网站

以下是我收集的Java开发牛人必备的网站。这些网站可以提供信息,以及一些很棒的讲座, 还能解答一般问题、面试问题等。质量是衡量一个网站的关键因素,我个人认为这些网站质量都很好。接下来,我会跟大家分享我是如何使用这些网站学习和娱乐的。或许你会认为有些网站适合任何水平的开发者,但是我认为:对于Java开发牛人来说,网站的好坏取决于如何使用它们。

1、Stackoverflow

Stackoverflow.com 可能是编程界中最流行的网站了,该网站有成千上万个好问题和答案。学习API或者编程语言,通常依赖于代码示例,stackoverflow就可以提供大量的代码片段。

Stackoverflow的另一个优点在于它的社交性。你可以在一些特定的标签下查看问题,比如“Java”、“regex”,你就会看到哪些是高频问题。这对于学习,以及Java博主书写热门话题都是一种非常好的资源。

网站地址:http://stackoverflow.com/

2、DZone

这是一个非常有趣的网站,有相当多的开发者在这个网站上分享他们博客文章。就像一场冒险一样,在这里,你永远不知道下一秒会看到什么内容。

网站地址:http://www.dzone.com

3、LeetCode

如果有Java方面的面试问题,例如“在Java中,内存中的数组是什么样的”,你可以从很多Java教程中找到答案。但是,遇到类似于“如何将SortedArray转化成一个BalancedTree”这样的问题,你就应该去求助LeetCode了。LeetCode包含一系列算法问题, 它能为有关信息技术的面试提供一个社会性的平台。这个网站最好的地方就是,它可以通过大小不同的数据在线检查你的代码是否正确。很多人认为,面试成功的关键在于重复这三个重要步骤:编码->阅读->讨论。

网站地址: http://leetcode.com/

4、Java SE技术文档

这个网站包含了在使用Java SE API时会用到的所有文档,即使你是Java开发牛人,我敢肯定在这里你仍能发现一些有用的东西。比如,你可以阅读一些像“Java类的本质”、“部署”这样的教程。

网站地址: http://docs.oracle.com/javase/

5、Github

你也许知道可以免费的将你的项目托管在哪,但你不一定知道它还是一个学习当今流行的Java库和框架的优秀资源。比如,你想学 Spring MVC Framework,你可以搜索并且找到一些开源的项目。遵循“照葫芦画瓢”的原则,你能够通过实例快速的学习框架,尤其是你已经具有使用类似框架的经验。

网站地址:https://github.com/

6、Coursera

这是有关视频讲座的最好网站,在这里你可以找到许多顶尖学校的著名教授的优秀计算机科学课程。这些教授中,有些甚至是一些计算机科学领域的发明者。

网站地址:https://www.coursera.org/

7、Java World

这个网站包含了大量的Java教程,涉及各种各样的话题。其中很多文章都写的很好,并且有图片、插图进行说明。它可以被用来当作深度学习的教科书。

网站地址:http://www.javaworld.com/

8、IBM developerWorks

这里有很多由IBM公司的人写的非常不错的文章。

网站地址:http://www.ibm.com/developerworks/java/

9、Wikipedia 维基百科

这个网站是查询或学习几乎所有概念的最好的资源之一。例如,作为一个资深的Java开发人员,你可能只是想了解一些概念并不想深度研究。这里是一个可以免费查询最新信息的好地方。例如,什么是面向服务的编程?另外,它还能为你的写作提供大量素材。比如,同一个词在不同的领域可能会有完全不同的含义。有时,研究这些词在不同领域的不同含义是非常有意思的。

网站地址: http://en.wikipedia.org/wiki/

10、Program Creek

与以上几个网站相比,Programcreek.com在规模上要小很多。但是规模小也有优点,它在维护方面做的更好,读起来更有趣。在这里,你可以找到其他任何网站都不曾涉及到的话题,而且几乎每篇文章都包含漂亮的插图或者示例代码。它包含了来自不同领域的人发表的文章(科研、工业),并且经常为Java开发者提供优质材料。希望有一天,它也会出现在一些人的网站前十名排行名单中。

网站地址: http://www.programcreek.com/

注:当然,对于Java开发牛人来说还有很多其它不错的网站。如果你认为有其他的网站也应该列在这里,请留言,我以后也会把它们加进去。谢谢。

网友推荐:

感谢网友的热情推荐,这里会不断更新网友推荐的优秀网站。

原文链接: programcreek 翻译: ImportNew.com – 张文太
译文链接: http://www.importnew.com/7980.html
转载请保留原文出处、译者和译文链接。]