HDFS集群磁盘数据倾斜不均衡的解决方案

HDFS集群磁盘数据倾斜不均衡的解决方案

一、引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节点之间磁盘大小不一样等等。当hdfs出现不平...
NFS挂载hdfs到本地

NFS挂载hdfs到本地

NFS挂载hdfs到本地   nfs hdfs nfs hdfs   hdfs挂载: hdfs是分布式系统,要想访问hdfs上的文件,可以用java api 或者hadoop shell等工具,如果想操作hdfs文件系统...
HDFS——hadoop fs -ls命令的执行过程

HDFS——hadoop fs -ls命令的执行过程

当我们在命令行打如下命令:hadoop fs -ls . 我们知道将显示出文件系统中的根目录下的文件,那究竟在代码里如何执行的呢,今天就一看究竟。 当我们按下这条命令,...
在Windows下安装Hadoop

在Windows下安装Hadoop

在Windows下安装Hadoop  IT, 技术与技巧 http://blog.openlg.net/index.php/archives/776 Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Li...
hadoop设置ssh免密码登录

hadoop设置ssh免密码登录

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zwx19921215/article/details/19641345 对于需要远程管理其它机器,一...
hadoop中关于数据倾斜的解决办法

hadoop中关于数据倾斜的解决办法

最近在换工作,好几次被问到关于数据倾斜的问题,这里找了些资料也结合一些自己的理解.     在并行计算中我们总希望分配的每一个task 都能以差不多的...
Hadoop v3.1.0 伪分布式环境搭建

Hadoop v3.1.0 伪分布式环境搭建

    基础环境的搭建参考:Hadoop学习准备工作 - Centos 7 系统安装与配置 一、 伪分布式     伪分布式是指:hadoop的守护进程以独立进程形式运行在单一节点上。 二、...
linux 安装hadoop 笔记(一)单机模式

linux 安装hadoop 笔记(一)单机模式

用root登录 1、安装jdk1.1 从官网下载jdk最新的linux版本(jdk-8u111-linux-x64.tar.gz)放到 /usr/local/ 下cd /usr/local/tar -xzvf jdk-8u111-linux-x64.tar.gz 1.2...
hadoop基础组件介绍

hadoop基础组件介绍

hadoop 的核心 HDFS: Hadoop Distributed File System 分布式文件系统 YARN: Yet Another Resource Negotiator    资源管理调度系统 Mapreduce:分布式运算框架 主...