Ubuntu16.04安装Hadoop单机和伪分布式环境超详细

2018-12-08 00:43 
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/kh896424665/article/details/78765175

介绍:Hadoop是Apache开源组织的一个分布式计算框架,可以在大量廉价的硬件设备组成的集群上运行应用程序,为应用程序提供了一组稳定可靠的接口,旨在构建一个具有高可靠性和良好扩展性的分布式系统。 HDFS(分布式文件系统)为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。通过这次云计算课程,我希望通过自己亲手搭建Hadoop并操作一些实例来体会一下云计算的魅力。
安装环境:我的笔记本的系统环境是Ubuntu16.04+windows10的双系统,hadoop作为由java语言开发的,在linux上可以完美运行,故准备在我的Ubuntu上实战搭建。
准备:Ubuntu16.04/64位
      hadoop-2.7.4.tar.gz
      Java jdk1.8.0_144
目的:搭建Hadoop单机模式和伪分布模式
1、安装和配置JAVA环境
a) 下载并解压JDK

·下载地址:(选择linux版本,你们下的版本号有可能和我不一样,后面配置时注意路径名,文件夹名)

http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 

·新建/usr/java目录,切换到所下载的jdk-8u144-linux-x64.tar.gz目录。将文件解压到/usr/java目录下
命令解压:tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java/
 

注:不懂命令解压可以在图形化界面鼠标点击解压,和windows一样。此时jdk已经安装好。

b) 设置环境变量
·修改.bashsc(即终端的源文件),使用vim编辑或者文本gedit编辑
没安装vim需要先安装vim
sudo vim ~/.bashrc
·在最后一行加入下列内容:(JAVA_HOME是jdk路径和文件版本,注意写对)
export JAVA_HOME=/usr/java/jdk1.8.0_144
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export PATH=$JAVA_HOME/bin:$PATH

·如下命令使环境变量生效:
source ~/.bashrc

·打开profile文件,插入java环境配置节。
sudo vim /etc/profile
插入如下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_144
export JAVA_BIN=$JAVA_HOME/bin
export JAVA_LIB=$JAVA_HOME/lib
export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar 
export PATH=$JAVA_HOME/bin:$PATH

 

·打开environment 文件,追加jdk目录和jdk下的lib的目录,如下所示。
sudo vim /etc/environment
·追加:(还是注意jdk文件名)

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_144/lib:/usr/java/jdk1.8.0_144"  

注意两个路径名,jdk的名字!!!

 ·使配置生效:
source /etc/environment
·验证java环境是否配置成功

java -version

 注意:以上追加的目录一定要看清楚路径名和你的jdk文件名(版本号),都则会配置不成功。

如果没出来版本号,那么重启一下终端,再试一次。


2、安装ssh-server并实现免密码登录

a) 下载ssh-server
sudo apt-get install openssh-server

b) 启动ssh
sudo /etc/init.d/ssh start

c) 查看ssh服务是否启动,如果显示相关ssh字样则表示成功。
ps -ef|grep ssh
 

d) 设置免密码登录
使用如下命令,一直回车,直到生成了rsa。
ssh-keygen -t rsa

·导入authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

·测试是否免密码登录localhost
ssh localhost
 

·关闭防火墙
ufw disable
3、安装Hadoop单击模式和伪分布模式
a)下载hadoop-2.7.4.tar.gz,解压到/usr/local(单机模式搭建)
下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz
sudo tar zxvf hadoop-2.7.4.tar.gz -C /usr/local
 ·切换到/usr/local下,将hadoop-2.7.4重命名为hadoop,并给/usr/local/hadoop设置访问权限。(-R为递归的给目录权限,必须)
cd /usr/local
sudo mv hadoop-2.7.4 hadoop 
sudo chmod 777 -R /usr/local/Hadoop

 

b)配置.bashsc文件
sudo vim ~/.bashrc
·在文件末尾追加下面内容,然后保存。(注意路径)
#HADOOP VARIABLES START 
export JAVA_HOME=/usr/java/jdk1.8.0_144 
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END 

·执行下面命令,使添加的环境变量生效:
source ~/.bashrc

c)Hadoop配置(伪分布式搭建)
·配置hadoop-env.sh
sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

·添加如下内容:(注意jdk文件名)
# The java implementation to use. 
export JAVA_HOME=/usr/java/jdk1.8.0_144
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin

·配置yarn-env.sh
sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh
·添加如下内容:
# export JAVA_HOME=/usr/java/jdk1.8.0_144 
JAVA_HOME=/usr/java/jdk1.8.0_144

·配置core-site.xml,(这里的tmp.dir不用改,是缓存目录)
sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml
插入如下内容
注意:将core-site.xml中原来的有的<configuration> < /configuration >一定要删除掉,不然后面格式化的时候会出错。即.xml文件中只有一个<configuration> < /configuration >对就可以。

<configuration>

        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

·同样修改配置文件 hdfs-site.xml:
sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
插入下列内容:(删除原有的<configuration>)
<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>

</configuration>

Hadoop配置文件说明
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行,不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。
同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

·配置yarn-site.xml
sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml 
·插入下列内容
<configuration> 
<!-- Site specific YARN configuration properties -->
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>127.0.0.1:8032</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>127.0.0.1:8031</value> 
    </property> 
</configuration>

d) 关机重启系统
注意:以上三个文件都必须删除原来的<configuration>对,在复制进去,否则会在后面格式化时发生如下错误 !!!!!

4、验证hadoop是否安装并配置成功
a) 验证Hadoop单击模式已经配完成
hadoop version
 

b) 启动HDFS为分布式模式
格式化namenode
hdfs namenode -format
 
有successfully formatted代表格式化成功。Existing with 1代表有错误。
·启动hdfs(如出现权限错误检查3  a)步骤是否递归给hadoop文件夹权限)
start-all.sh

·显示进程
jps 
 
有6个进程代表正确
`

·在浏览器中输入http://localhost:50070/,出现如下页面

 

·输入 http://localhost:8088/, 出现如下页面

 
至此Hadoop已经完全搭建成功。
    
5、Hadop实例:词频统计
a) 启动HDFS
start-all.sh

b) 产看HDFS下面包含的文件目录
hadoop dfs -ls /
第一次运行hdfs什么都没有
 
c) 在HDFS中创建一个文件目录input,将/usr/local/hadoop/README.txt上传至input中,此时再用ls查看就发现多了个input目录
hdfs dfs -mkdir /input
hadoop fs -put /usr/local/hadoop/README.txt /input

 

 

d) 执行一下命令运行wordcount 并将结果输出到output中。
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /input /output  

 

·统计成功:

 

·执行成功后output 目录底下会生成两个文件 _SUCCESS 成功标志的文件,里面没有内容。 一个是 part-r-00000 ,通过以下命令查看执行的结果,如下图

hadoop fs -cat /output/part-r-00000

·下面是统计的词频结果:
 
·下面附一些HDFS常用命令:
hadoop fs -mkdir /tmp/input       在HDFS上新建文件夹 
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录下 
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS文件拉到本地 
hadoop fs -ls /tmp/output         列出HDFS的某目录 
hadoop fs -cat /tmp/ouput/output1.txt 查看HDFS上的文件 
hadoop fs -rmr /home/less/hadoop/tmp/output 删除HDFS上的目录 
hadoop dfsadmin -report 查看HDFS状态,比如有哪些datanode,每个datanode的情况 
hadoop dfsadmin -safemode leave 离开安全模式 
hadoop dfsadmin -safemode enter 进入安全模式

注:以上内容都是在我查找网上各种教程,并且遇到很多问题之后,经过自己的实战搭建最后完成的教程。后来又用新建的Ubuntu虚拟机重新测试了一下,教程完全没有问题。

发表评论

您必须 登录 才能发表留言!