阿里云hadoop安装教程_完全分布式_Hadoop 2.7.4/CentOS 7.4

By | 2019年2月13日

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/bqw18744018044/article/details/79103931

一、环境

本教程中使用两台阿里云服务器,其配置为单核CPU,2G内存,操作系统为CentOS 7.4。使用JDK1.8及Hadoop2.7.4进行安装。

 

二、配置服务器hostname

进入实例的基本信息页面,点击修改信息

修改HostName,NameNode节点对应的HostName为master,DataNode节点对应的HostName为node1

 

三、修改hosts(最好使用内网IP)

四、SSH无密码登录

无论是集群还是单机模式都需要配置SSH无密码登录,而且该步骤不可以忽略

 

利用ssh-keygen生成密钥,在生成的过程中一直按回车就可以。

加入到授权中

将id_rsa.pub拷贝到node1节点上(此时需要输入node1节点上root用户的密码)

登录到node1节点,并将上一步拷贝的id_rsa.pub加入到授权中,步骤同上,即cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

登录到master,测试免密登录是否成功,若此时不需要输入node1的密码即可直接登录,说明配置成功。



五、JAVA安装

解压jdk压缩包到指定目录

配置环境变量

使配置的环境变量生效

使用java -version测试安装是否成功

注:在node1进行同样的安装

 

六、hadoop安装

解压到指定目录

配置环境变量

使配置的环境变量生效

使用hadoop version测试安装是否成功

注:在node1上进行同样的安装

 

七、配置hadoop

切换目录

修改core-site.xml如下:

修改hdfs-site.xml如下:

将mapred-site.xml.template拷贝一份并命名为mapred-site.xml

修改mapred-site.xml如下:

修改yarn-site.xml如下:

修改slaves如下:

修改hadoop-env.sh如下:

注:将上述的配置文件拷贝一份到node1对应的目录中

 

八、格式化hdfs

成功后

 

九、启动进程

进入到sbin目录,执行脚本

使用jps命名查看结果,结果中共包含5个进程:NameNode、DataNode、SecondaryNameNode、NodeManager、ResourceManager;

 

十、使用自动的wordcount进行测试

创建用户目录

将要进行统计的文件(我这里是一个txt文件)拷贝到hdfs上

执行自带的wordcount例子,并将结果输出到output2中(如果已经存在output2则会报错,使用hdfs dfs -rm -r filename删除即可)

通过浏览器访问master的8088端口即可查看执行进度(如果通过外网访问,则要配置阿里云的安全组规则)

 

 

发表评论