Mac上通过伪分布方式部署Hadoop 2.7.2

Mac上通过伪分布方式部署Hadoop 2.7.2

转自:http://blog.csdn.net/cdut100/article/details/51813481 1. 无密码登录localhost的设置 1. ssh-keygen -t rsa Press enter for each line 2. cat ~/.ssh/id...
Hadoop动态调整日志级别

Hadoop动态调整日志级别

调整master节点或者slave节点的日志级别 日志库将日志分为5 个级别,分别为DEBUG、INFO、WARN、ERROR 和FATAL。这5 个级别对应的日志信息重要程度不同,它们的重...
Hadoop修改SSH端口号

Hadoop修改SSH端口号

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ggz631047367/article/details/50185253 hadoop-env.sh export...
第一个Hadoop程序——WordCount

第一个Hadoop程序——WordCount

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013761665/article/details/47044959 概述:   通过前面两篇博客的学...
Win 7 eclipse访问虚拟机上hadoop

Win 7 eclipse访问虚拟机上hadoop

因为hadoop安装在虚拟机里,虚拟机同时带不动eclipse和hadoop,就打算在windows下eclipse访问虚拟机里的hadoop,搜索了一下,需要做如下配置。 操作系统:Windows 7 h...
hadoop安全性问题

hadoop安全性问题

对于处理大数据的组织来说这意味着什么?意味着你拥有的数据越多,对数据的保护就越重要。意味着不仅要安全有效地控制离开自有网络的数据,还必须做好网络内部的数据...
hadoop2.x配置 – 改 hadoop ssh 端口

hadoop2.x配置 – 改 hadoop ssh 端口

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Mrknowledge/article/details/36022905 启动hadoop,但ssh 端口不是默...
hadoop自动清除日志文件的配置方法

hadoop自动清除日志文件的配置方法

hadoop集群跑了很多的任务后 在hadoop.log.dir目录下会产生大量的日志文件。 可以通过配置core-site.xml文件让集群自动清除日志文件: <property>   <...
java api操作远程hadoop集群

java api操作远程hadoop集群

先给个在集群根目录下建立test目录的例子: String uri="hdfs://ip地址:端口号"; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI....