python3.6 hdfs的使用

By | 2018年12月1日

使用python3.6对hdfs库进行操作

安装依赖:

pip3 install --upgrade pip   #更新pip,防止版本过低

pip3 install pyHdfs    #安装pyHdfs

编码:

from pyhdfs import HdfsClient
client = HdfsClient(hosts='ip:50070')  #50070是端口号
print(client.list_status('/'))   #打印
client.copy_from_local("test.txt","/data/test.txt")  #第一个参数是本地文件路径,第二个参数是上传hdfs的路径
方法举例:
1.client.copy_from_local("test.txt","/data/test.txt")                   #hadoop fs -put test.txt /data/test.txt       上传test.txt文件到Hadoop
2.client.delete("/test.txt")                                            #hadoop fs rm -r /test.txt                     删除test.txt文件

请关注公众号获取更多资料

发表评论