hadoop单机版、伪分布式、完全分布式部署、HBase 完全分布式部署

2018-12-07 08:39 

# hadoop单机版:https://www.jianshu.com/p/1352ce8c8d73
hosts文件中进行主机的注册   什么也不配,所以配置什么也不改变,是单机模式。

  • 解压缩。
    export HADOOP_HOME="/root/hadoop-2.7.5"
    export PATH="$HADOOP_HOME/bin:$PATH"
  • 测试   TD
    rm -rf /tmp/out; hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount ~/install/word_test /tmp/out/

 

# hadoop伪分布式集群:https://www.jianshu.com/p/1352ce8c8d73

https://www.imooc.com/article/24911  推荐参考

hosts文件中进行主机的注册

  • mkdir -p /usr/data/hadoop/tmp

       修改core-site.xml, 指定defaultFS和hadoop.tmp.dir
       hadoop.tmp.dir 是 hadoop文件系统依赖的基本配置,很多配置路径都依赖它,它的默认位置在/tmp/{$user}下面。解决办法:在core-site.xml中配置 hadoop.tmp.dir 路径到持久化目录。

  • 建立 namenode 进程的保存路径 : mkdir -p /usr/data/hadoop/dfs/name
    建立 datanode 进程的保存路径 : mkdir -p /usr/data/hadoop/dfs/data
    将保存路径配置到hdfs-site.xml
  • yarn-site.xml中配置nodemanager 和 resourcemanager

 

# hadoop: 完全分布式环境搭建

https://www.jianshu.com/p/103705f28494

作用介绍:https://blog.csdn.net/Gamer_gyt/article/details/51758881

ResourceManage 即资源管理,在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)。

NM是ResourceManager在每台机器上的代理,负责容器管理,并监控它们的资源使用情况,以及向ResourceManager/Scheduler提供资源使用报告

几个关键点:

  • /etc/hosts 参考如下:不要在127.0.0.1  这一行添加 hadoop1 否则hadoop1将会被映射到127.0.0.1。 造成DataNode连不上NameNode,因为此时NameNode仅仅监听在127.0.0.1 的9000端口,而非0.0.0.0 9000端口

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.12  hadoop1

192.168.0.13  hadoop2

192.168.0.15  hadoop3

 

如果出现下面的情况,hadoop1将被映射到192.168.0.15, 以前者为准。因 hosts文件是文本文件,每个地址映射占一行.每行的格式如下:  IP地址   主机或者域名   [主机的别名] [主机的别名]....

192.168.0.15  hadoop1

192.168.0.12  hadoop1

 

  • 格式化文件系统
     hdfs namenode -format     #Tested 过的是在scp -r hadoop-2.7.5 root@xxx:/root/.  之前
  • 如果仅仅需要HDFS,只需要 start-dfs.sh。  而不需要 start-yarn.sh。 
     start-all.sh 本质上是调用了start-dfs.sh   和 start-yarn.sh
     start-dfs.sh  主机上是 NameNode  SecondaryNameNode。  从机是 DataNode
     start-yarn.sh 主机上是 ResourceManager。  从机是 NodeManager
  • 不能直接访问非80端口,用rinetd转发。
  • dfs  和 yarn 的访问页面如下,其中的Live Nodes 必须> 0

 

 

 

 

 

############## HBase 完全分布式部署

参考: https://blog.csdn.net/qq_38799155/article/details/77198985

  • 前提 zookeeper集群已经安装好、HDFS已经安装好
  • hbase-env.sh

export JAVA_HOME=/root/jdk-1.8.0_101

export HBASE_MANAGES_ZK=false

 

  • hbase-site.xml

<configuration>

<property>

        <name>hbase.rootdir</name>

        <value>hdfs://hadoop1:9000/hbase</value>

        <description>The directory shared byRegionServers.</description>

    </property>

 

    <!-- 必须。分布式集群 -->

    <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

    </property>

  <property>

        <name>hbase.tmp.dir</name>

        <value>/root/hadoop-2.7.5/hbase/tmp</value>

  </property>

 

    <!-- 必须。配置独立Zookeeper端口 -->

    <property>

      <name>hbase.zookeeper.property.clientPort</name>

      <value>2181</value>

    </property>

 

    <!-- 必须。配置独立Zookeeper集群,本文就只有localhost -->

    <property>

      <name>hbase.zookeeper.quorum</name>

      <value>hadoop1,hadoop2,hadoop3</value>

    </property>

 

    <!-- 必须。配置独立Zookeeper数据存储路径,根据实际情况修改 -->

    <property>

      <name>hbase.zookeeper.property.dataDir</name>

      <value>/root/hadoop-2.7.5/zookeeper-data/data</value>

    </property>

 

    <!-- 可选。若需要打开Web UI,则设置该属性 -->

    <property>

        <name>hbase.master.info.port</name>

        <value>60010</value>

    </property>

 

</configuration>

 

  • regionservers 

hadoop2

hadoop3

  • start-base.sh

 

发表评论

您必须 登录 才能发表留言!