hadoop连接方式配置-fs操作-put

2018-12-07 08:48 

cat core-site.xml ;cat yarn-site.xml ;cat hdfs-site.xml       /////多个文件合并cat

选择启动哪种配置模式:

ln -s hadoop_pseudo hadoop(前提是剔除环境变量)

export HADOOP_CONF_DIR=   ////剔除环境变量

创建用户目录

hadoop fs -ls /     /////查看fs的根目录

hadoop fs -ls -R /     /////递归查看fs的根目录

hadoop fs -mkdir -p /user/$USER   //-p是创建多级目录

fs -rm -R /usr   ////删除目录及目录下的所有文件

namenode、datanode在本机上存储的位置

cd /tmp/hadoop-ubuntu/dfs/name/current    ///namenode的当前信息,里面的fsimage_0000000000000000017存的就是文件系统的镜像文件fsimage_0000000000000000017,md5为校验版本

cat VERSION    ///可查看版本信息

cd /tmp/hadoop-ubuntu/dfs/data/current   ////查看datanode的信息

/tmp/hadoop-ubuntu/dfs/data/current/BP-1913675862-127.0.1.1-1467596308382/current/finalized  ///存放具体内容

查看帮助

hadoop fs   ///直接回车,查看fs的所有帮助信息

hadoop fs -help put       ///查看put的具体信息

往分布式文件系统上方文件

1 先本地建一个hello.txt

cd ~

touch hello.txt

echo "hello world" >> hello.txt

hadoop fs -put hello.txt /user/ubuntu

hadoop fs -ls -R   ///该指令直接会查看/user/ubuntu/下的文件(非文件夹)

hadoop fs -ls -R /     ///查看是否有hello.txt 

查看具体存放在哪

cd /tmp/hadoop-ubuntu/dfs/data/current/BP-1913675862-127.0.1.1-1467596308382/current/finalized/subdir0/subdir0 ////可以看到blk_1073741825和blk_1073741825_1001.meta,blk为HDFS中的文件数据块,存储的是原始文件内容,一个文件可以是很多块;.meta是块的元数据文件:包括版本和类型信息的头文件,与一系列块的的区域校验和组成。

可以看到默认数据是放到tmp里了,但是每次重启机器tmp都会重新创建,所以不能放在这,需要配置

发表评论

您必须 登录 才能发表留言!