Hadoop2.x运行模式/部署/区别

2019-02-13 00:24 

在做hadoop开发时,理解hadoop的运行模式尤为重要。

 

首先我们了解一下两个目录../hadoop/sbin与../hadoop/etc/hadoop

  • sbin             用于启动hadoop的脚本文件目录
  • etc/hadoop 用于配置启动文件,通过 **.xml 配置来确定hadoop的运行模式

 

 

Hadoop的三种启动模式:

Hadoop部署方式分三种,Standalone mode、Pseudo-Distributed mode、Cluster mode,其中前两种都是在单机部署。

  • 单机模式(Standalone Mode)

    • 默认模式
    • 不对配置文件进行修改
    • 使用本地文件系统,而不是分布式文件系统。
  • 伪分布模式(Pseudo-Distributed Mode)

    • 在一台主机模拟一个小规模的集群,在这种模式下Hadoop使用的是分布式文件系统,一般用于程序调试与测试。也可以说 伪分布式 是 完全分布式 的一个特例。
    • 在这种模式下,Hadoop使用的是分布式文件系统,各个 Job 由 Manager 来管理独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及守护进程交互。Hadoop启动NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager,这些守护进程都在同一台机器上运行,是相互独立的Java进程。
    • 需要修改配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。配置见下表
    • 格式化文件系统
  • 完全分布式(Cluster Mode)

    • Hadoop的运行在由多台主机搭建的集群上,是真正的生产环境。
    • 在这种模式下,Hadoop在所有的主机上安装JDK、Hadoop、Zookeeper等软件,组成相互连通的网络。
    • 主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表中。
    • 需要修改配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。配置见下表
    • 格式化文件系统。

 

 

xml文件  属性名称 本地模式 伪分布式 完全分布式
core-site.xml fs.defaultFs (fs.default.name) file:///(默认) hdfs://localhost/ hdfs://hadoop1
hdfs-site.xml dfs.replication N/A 1 3(默认)
mapred-site.xml mapreduce.framework.name local(默认) yarn yarn
yarn-site.xml

yarn.resoucemanager.hostname

yarn.nodemanager.auxservice

N/A

N/A

localhost

mapreduce_shuffle

resoucemanager

maperduce_shuffle

注意:

  • 在本地模式下,使用本地文件系统和本地MapReduce运行。

  • 在分布式模式下,将启动HDFS和YARN守护进程运行。

发表评论

您必须 登录 才能发表留言!