定期清理hdfs日志脚本

定期清理hdfs日志脚本

#!/bin/sh today=`date +%y-%m-%d` lastmonthday=`date -d "-31 day" +%y-%m-%d` echo $today============$lastmonthday for i in {1..31}  do  hadoop fs -test -e /...
HBase&HDFS异构存储的使用&简单介绍

HBase&HDFS异构存储的使用&简单介绍

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/bryce123phy/article/details/70388664 使用方式: 首先,开启hdfs异构...
No FileSystem for scheme: hdfs解决方案

No FileSystem for scheme: hdfs解决方案

  在本地环境下能够找到scheme,但是通过maven打包fatjar 后放到其他机器上就出现找不到scheme。   看了代码,发现通过FileSystem.get(conf)初始化的时候,要通过...
cdh-管理HDFS高可用性群集

cdh-管理HDFS高可用性群集

手动故障切换到备用NameNode 使用Cloudera Manager手动故障转移到备用NameNode 如果您正在运行启用了HA的HDFS服务,则可以手动使活动的NameNode故障切换到备...
hadoop与s3之间互相传输文件

hadoop与s3之间互相传输文件

hadoop到s3 hadoop distcp hdfs:/user/hive/data/SearchRecord/2014-02-16 s3n://*/hadoop/user/hive/data/SearchRecord/2014-02-16  需要在core-site.xml中配置好fs...