客户端

Hadoop安装及伪分布式配置(Linux系统)

所在版块: 后端技术 2017-08-09 14:38 [复制链接] 查看: 2746|回复: 0
第一步:下载安装包:
1. hadoop-2.7.4.tar.gz
2. jdk-8u73-linux-x64.gz

第二步:Linux系统创建hadoop帐号
# useradd -m hadoop -s /bin/bash
# passwd hadoop        (输入密码,如:123456)
(为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题)
# vi /etc/sudoers   (复制root  ALL=(ALL)    ALL这行,将root改成hadoop即可)
# su hadoop

第三步:Host主机配置
Hadoop是分布式系统,会根据host配置来查询网络节点的ip地址,包括localhost。
首先查看:/etc/sysconfig/network文件中HOSTNAME字段的值。
然后看:/etc/hosts 文件中是否有ip地址对应到上面的HOSTNAME字段的值,如果获取不到就会报错UnknownHostException。
判断Host主机配置是否正确:
$ hostname
$ hostname -i   (能查看到ip地址)

第四步:安装Java环境
$ tar zxvf jdk-8u73-linux-x64.gz
$ mv jdk1.8.0_73 ~/local/
配置环境变量
$ vi ~/.bashrc
export JAVA_HOME=/home/hadoop/local/jdk1.8.0_73
export PATH=$JAVA_HOME/bin: $PATH
export CLASSPATH=$JAVA_HOME/lib: $JAVA_HOME/jre/lib
$ source ~/.bashrc
$
java -version   (查看Java版本)

第五步:安装Hadoop
$ tar zxvf hadoop-2.7.4.tar.gz
$ mv hadoop-2.7.4 ~/local/
配置环境变量
$ vi ~/.bashrc
export HADOOP_HOME=/home/hadoop/local/hadoop-2.7.4
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/bin: $PATH
$ source ~/.bashrc
$
hadoop version    (查看hadoop版本)

第六步:Hadoop伪分布式配置$ cd ~/local/hadoop-2.7.4
$ vi etc/hadoop/core-site.xml
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/home/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

$vi etc/hadoop/hdfs-site.xml
<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/home/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

配置完成后,执行 NameNode 的格式化:
$ hdfs namenode -format  
(看到Storage directory /home/hadoop/tmp/dfs/name has been successfully formatted. 就表示成功了)


开启 NameNode 和 DataNode 守护进程
$ ./sbin/start-dfs.sh
$ jps        (用此命令查看是否成功了,如果 SecondaryNameNode 没有启动,请运行 sbin/stop-dfs.sh 关闭进程,然后再次尝试启动尝试;如果没有NameNode 或 DataNode ,那就是配置不成功,请仔细检查之前步骤,或通过查看启动日志排查原因)
2882 SecondaryNameNode
3027 Jps
2643 NameNode
2739 DataNode

关闭dfs
$ ./sbin/stop-dfs.sh


【启动成功后可以在浏览器中打开:http://127.0.0.1:50070/ 查看HDFS的NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。】


参考文献:
1. http://www.powerxing.com/install-hadoop/



分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码关注微信公众号

QQ|Archiver|手机版|小黑屋|mwt-design ( 沪ICP备12041170号-1

GMT+8, 2024-5-21 12:45 , Processed in 0.069233 second(s), 28 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回列表