hdfs的shell操作

2018-11-26 18:53 

1、hdfs dfs的命令

hdfs dfs -appendToFile <localsrc> ... <dst> 
可同时上传多个文件到HDFS里面
hdfs dfs -cat URI [URI ...] 
查看文件内容
hdfs dfs -chgrp [-R] GROUP URI [URI ...] 
修改文件所属组
hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...] 
修改文件权限
hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
修改文件所有者,文件所属组,其他用户的读、写、执行权限
hdfs dfs -copyFromLocal <localsrc> URI
复制文件到hdfs
hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst> 
复制文件到本地
hdfs dfs -count [-q] <paths>
统计文件及文件夹数目
hdfs dfs -cp [-f] URI [URI ...] <dest>
Hadoop HDFS 文件系统间的文件复制
hdfs dfs -du [-s] [-h] URI [URI ...]
统计目录下的文件及大小
hdfs dfs -dus <args> 
汇总目录下的文件总大小
hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>
下载文件到本地
hdfs dfs -getmerge <src> <localdst> [addnl]
合并下载文件到本地
hdfs dfs -ls <args> 
查看目录
hdfs dfs -ls -R <args> 
循环列出目录、子目录及文件信息 
hdfs dfs -mkdir [-p] <paths> 
创建空白文件夹
dfs -moveFromLocal <localsrc> <dst> 
剪切文件到hdfs
hdfs dfs -moveToLocal [-crc] <src> <dst>
剪切文件到本地
hdfs dfs -mv URI [URI ...] <dest>
剪切hdfs文件
hdfs dfs -put <localsrc> ... <dst>
上传文件
hdfs dfs -rm [-skipTrash] URI [URI ...] 
删除文件/空白文件夹
hdfs dfs -rm -r [-skipTrash] URI [URI ...]
递归删除  删除文件及文件夹下的所有文件
hdfs dfs -setrep [-R] [-w] <numReplicas> <path>
修改副本数
hdfs dfs -stat URI [URI ...]
显示文件统计信息
hdfs dfs -tail [-f] URI
查看文件尾部信息
hdfs dfs -test -[ezd] URI
对PATH进行如下类型的检查: 
-e PATH是否存在,如果PATH存在,返回0,否则返回1 
-z 文件是否为空,如果长度为0,返回0,否则返回1 
-d 是否为目录,如果PATH为目录,返回0,否则返回1 
hdfs dfs -text <src> 
查看文件内容
hdfs dfs -touchz URI [URI ...]
创建长度为0的空文件

发表评论

您必须 登录 才能发表留言!