Hadoop和Spark的异同

Hadoop和Spark的异同

       谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看...
Hadoop文件系统。

Hadoop文件系统。

        Hadoop有一个抽象的文件系统概念,HDFS只是其中的一个实现。Java抽象类org.apache.hadoop.fs.FileSystem定义了Hadoop中一个文件系统的客户端接口,并且该抽象...
基于hadoop的简单网盘实现

基于hadoop的简单网盘实现

使用的是  hadoop2.4  + mysql + fileupload  主要是 使用的这 3个技术  hadoop用于 存储上传数据 mysql是 用户的注册以及 查询  fileupload是上传插件(有上传文件大...
Eclipse:Run on Hadoop 没有反应

Eclipse:Run on Hadoop 没有反应

Eclipse:Run on Hadoop 没有反应原因: hadoop-0.20.2下自带的eclise插件已过时。 解决方案: 1、下载正确的插件:https://issues.apache.org/jira/secure/attachment...
hadoop常见问题汇总

hadoop常见问题汇总

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/czz1141979570/article/details/79645863 本文汇总了...
flink使用BucketingSink将文件写入hdfs

flink使用BucketingSink将文件写入hdfs

最近在找一些写入到flink写入到hdfs的方法,然后在官网找到了这个(https://ci.apache.org/projects/flink/flink-docs-release-1.4/dev/connectors/filesystem_sink.ht...
hadoop命令行下hdfs客户端常用命令

hadoop命令行下hdfs客户端常用命令

hadoop版本号下的bin目录里面有些启动命令行客户端的命令,先介绍一下hadoop这个命令: 如果配好了hadoop的环境变量,那么直接在命令行输入以下命令就好! 启动hdfs客...
【HDFS】存储balancer到底咋回事

【HDFS】存储balancer到底咋回事

最近集群存储倾斜,个别节点存储超过85%,启动balancer之后效果明显,但是有时候balancer启动也不能解决问题。从运维阶段就知道有这么一个balancer,今天终于憋了一口...