Hadoop集群环境：
三台机器：namenode0, datanode1, datanode2
操作系统：Ubuntu 11.04 Server version
Haddop版本: hadoop-0.20.2-cdh3u1
HBase版本：hbase-0.9...
linux下搭建单机版hdfs和yarn框架
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u011254180/article/details/79377808
在本地搭建hadoop环境时，如果搭...
hdfs中block size设置规则
小文件BLOCK占用
【小于块大小的小文件不会占用整个HDFS块空间。也就是说，较多的小文件会占用更多的NAMENODE的内存（记录了文件的位置等信息）；再者，在文件处理时...
Alex 的 Hadoop 菜鸟教程: 第18课 用Http的方式访问HDFS – HttpFs 教程
原文地址： http://blog.csdn.net/nsrainbow/article/details/43678237 最新课程请关注原作者博客，获得更好的显示体验
声明
本文基于Centos 6.x + CDH 5.x
HttpF...
hadoop命令 – 创建用户及hdfs权限、hdfs操作等常用命令
sudo addgroup hadoop#添加一个hadoop组
sudo usermod -a -G hadoop larry#将当前用户加入到hadoop组
sudo gedit etc/sudoers#将hadoop组加入到sudoer
在root ALL=(AL...
API实现HDFS的读写数据流JAVA代码及流程详解
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/leen0304/article/details/77852178
前言
针对Java代码中实现...
关于hive中从hdfs上load数据到表中而HDFS上的数据却消失的若干问题
今天偶然间发现hive中一个我之前没有注意到的一个小细节(我怀疑你们之前也可能没有注意到)：
那就是当我们试图从HDFS上导入数据到我们自己所创建的表中的时候
load da...
Impala高性能探秘之HDFS数据访问
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/yu616568/article/details/74996897
Impala是一个高性能的OLAP...
hdfs文件的传输过程—也要三次握手
问题导读1、做一个HDFS写文件的测试，需要准备什么环境？2、如何对DataNode分析，有哪些节点？3、Client发起写文件的请求流程是什么？
这里做一个测试HDFS写文件的测...
在hdfs中创建文件夹，出现权限问题。
报错：mkdir: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
解决方法：
尽管当前用户是root，但是hadoop 里的hdfs是另...