Hadoop之JobTrack分析

Hadoop之JobTrack分析

1.client端指定Job的各种参数配置之后调用job.waitForCompletion(true) 方法提交Job给JobTracker,等待Job 完成。 public void submit() throws IOException, Inter...
ubuntu14.04 hadoop在两台电脑上的搭建

ubuntu14.04 hadoop在两台电脑上的搭建

笔记本IP 115.27.116.52 master 台式机IP 162.105.13.237 slave1 笔记本:ubuntu12.04 64bit, hadoop-2.5.0,JDK1.7.0_51, 机器名 ubuntu 台式机:ubuntu14.04 64bit, ha...
Hadoop中空间数据的存储(一)

Hadoop中空间数据的存储(一)

版权声明:每天进步一点点,你会发现,离成功越来越远……【GeoWin: 本文为博主原创文章,未经博主允许不得转载】 https://blog.csdn.net/yaoxiaochuang/artic...
Hadoop中Job提交过程

Hadoop中Job提交过程

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013124704/article/details/52279496 虽然写过多次的MR程序,...
Hadoop streaming mapreduce多文件输入使用方法

Hadoop streaming mapreduce多文件输入使用方法

写Mapreduce程序时,常常会有同时处理多个输入文件的的需求,那么如何在map程序中方便的知道这一条record到底来自哪个文件呢?如果数据源是可控的,我们尚可以...
web界面查看hadoop状态

web界面查看hadoop状态

用于测试,我用4台虚拟机搭建成了hadoop结构 我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。   1、安装虚拟机环境      Vm...
Java访问Hadoop实践

Java访问Hadoop实践

版权声明:本文为博主原创文章,版权归博主所有,转载请带上本文链接! https://blog.csdn.net/admin1973/article/details/60876255 Java访问Hadoop实...
从Hadoop 说起 六个真实的大数据应用案例

从Hadoop 说起 六个真实的大数据应用案例

        1. Last.fm         1.1背景   创建于2002年,提供网络电台和网络音乐服务的社交网络。每个月有2500万人使用Last.fm,产生大量数据。现在有了中文版ht...
在多硬盘情况下的Hadoop配置注意项

在多硬盘情况下的Hadoop配置注意项

一、背景 1、最近在做hadoop的性能测试,采用了自带的Terasort的方式,但是在运行的过程中发现如果数据量过大,对硬盘I/O需求不小(通过Ganglia监控发现),因此,打...
通俗解释Hadoop究竟能做什么?

通俗解释Hadoop究竟能做什么?

现在好像大家都在讲 大数据 云计算 hadopp .那么hadoop究竟能做些什么呢? 网上的资料大多是这么写的: 一个分布式系统基础架构,由Apache基金会开发。用户可以在...