eclipse使用插件远程调试Hadoop

2018-12-07 08:39 
版权声明:本文为博主原创文章,转载请说明来源。 https://blog.csdn.net/Dod_Jdi/article/details/78116374

一、伪分布式环境下
伪分布式的配置参考http://blog.csdn.net/dod_jdi/article/details/78024664

1、在服务器上修改 /etc/hostname,设置新的主机名,如hadoop。
在服务器的/etc/hosts文件中添加域名解析:本机ip hadoop。
注意主机名不能是127.0.0.1之类的,否则可能无法正常读取数据。

将伪分布式的配置中core.site.xml设置为0.0.0.0而不是localhost,否则客户端可能无法连接:

    <property>
           <name>hadoop.tmp.dir</name>
           <value>file:/home/hadoop/myhadoop/tmp</value>
           <description>Abase for other temporary directories.</description>
      </property>
      <property>
           <name>fs.defaultFS</name>
           <value>hdfs://0.0.0.0:9000</value>
      </property>

2、下载hadoop插件http://pan.baidu.com/s/1i3LaXO5 密码: pkqm,版本可以有一定的差异,将下载的插件解压到eclipse的plugin文件夹中。

3、毕竟要在本地执行Hadoop执行相关指令,下载Hadoop解压到本地
http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.4.tar.gz,配置环境变量:

HADOOP_HOME : Hadoop解压路径
在path后面添加:;%HADOOP_HOME%\bin

这样在本地命令行执行hadoop命名会出现提示,和java类似。

4、打开eclipse,在windows->view->other中添加hadoop到列表视图。
这里写图片描述

在Windows->preferences总选择Hadoop的解压路径

这里写图片描述

在控制台选择设置ip地址和端口

这里写图片描述

这里写图片描述

二、分部式环境由于没钱租服务器做实验还是不写流量吧。

三、使用时可以选择建立Map/Reduce Project。

这里写图片描述

这里写图片描述

本人在Windows上的eclipse调试Ubuntu上的hadoop时出现了几个比较常见的错误,需要将https://github.com/SweetInk/hadoop-common-2.7.1-bin中的winutils.exe和hadoop.dll文件下载复制到Windows解压处理的hadoop/bin中。版本号不一定要严格对应,运行不出错即可,我的是2.7.4,下载的是2.7.2。

具体使用例可参考:

http://www.cnblogs.com/shitouer/archive/2012/05/29/2522860.html

http://www.cnblogs.com/baixl/p/4154429.html

最后呢,在编译Hadoop项目的时候是需要添加很多库文件的,一般把hadoop-2.7.4\share\hadoop\tools\lib目录下的所有Jar文件添加进去就好了。

发表评论

您必须 登录 才能发表留言!