linux 安装hadoop 笔记(一)单机模式

2018-12-07 08:48 

用root登录
1、安装jdk
1.1 从官网下载jdk最新的linux版本(jdk-8u111-linux-x64.tar.gz)放到 /usr/local/ 下
cd /usr/local/
tar -xzvf jdk-8u111-linux-x64.tar.gz 
1.2 编辑 vim /etc/profile 配置环境变量 增加如下内容
export JAVA_HOME=/usr/local/jdk1.8.0_45
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH: .....
1.3 source /etc/profile  (使配置生效)
        1.4 java -version   (看是否安装成功)

2、 创建新用户(直接用root也行) 配置ssh免密登录
        2.1 sudo apt-get install ssh  (安装ssh,一般linux都安装了)
2.2 常见用户 hadoopor 密码 hadoopor 
useradd hadoopor
passwd hadoopor  (输入密码)
2.3 修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,使hadoopor拥有root权限如下所示:
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
hadoopor   ALL=(ALL)     ALL
2.4 用hadoopor用户身份登录
        在用户目录  /home/hadoopor  新建隐藏目录  (可以用ll -a  查看隐藏目录或文件)
mkdir .ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh -version  (显示:“Bad escape character 'rsion'”,则成功)
        ssh localhost  (能登录则成功了,不行退出再登录试试)
3、安装hadoop (以hadoopor登录 )
3.1 从官网下载  hadoop-2.7.3.tar.gz  拷贝到目录 /home/hadoopor 
tar -xzvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop
3.2 编辑 vim /etc/profile 配置环境变量 增加修改如下内容
        HADOOP_HOME=/home/hadoopor/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH: .....
3.3 source /etc/profile  (使配置生效)
3.4 cd /home/hadoopor.hadoop/ (执行一下格式化node)
        hadoop/bin/hdfs namenode -format
mkdir input (里面可以放自己的数据文件)
测试一下是否成功(input是上一步定义的目录,output 会新生成,貌似每次都要先把output删掉再执行,否则报异常)
bin/hadoop jar /home/hadoopor/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount input output
cat output/*  (可以查看执行结果)
3.5  自定义的业务,打包成jar,上传到 /home/hadoopor/hadoop/myjar (新建myjar目录用来存放自己的业务jar)
bin/hadoop jar /home/hadoopor/hadoop/myjar/hadoopTest-1.0-SNAPSHOT.jar  com.zkd.hadoop.test.Test2 /home/hadoopor/hadoop/input/tmp.txt       /home/hadoopor/hadoop/output

(如果用到了第三方依赖包,可以把依赖的jar 放到$HADOOP_HOME/share/hadoop/common/lib  别相信网上那些用-libjars或把依赖也打进jar包这两种方式是坑人的)

3.6 用IDEA创建maven 普通java项目,写一些测试代码。本文一些代码参考自《hadoop权威指南》,项目具体看附件

发表评论

您必须 登录 才能发表留言!