Hadoop/Hbase在windows下的安装笔记

By | 2019年1月31日

1.Hadoop 安装,见:
https://blog.csdn.net/sinat_34070003/article/details/79676993

2.ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

zookeeper的运行依赖java运行环境。以windows10为例:右击此电脑——属性——高级系统设置。

  1. win10下 Zookeeper 安装和配置教程
  2. 点击下面的环境变量,进入后在系统变量一栏点击新建,然后输入如下:

    名称:JAVA_HOME

    变量值:jdk安装目录

    同理:

    在上面的一栏中点击新建,内容如下:

    名称:CLASS_PATH

    变量值:.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

    一定要注意所有符号都是英文状态的。

    在系统环境变量中有一个path的环境变量,选中后选择编辑,将JAVA_HOME添加进去即可,如图:在最后加上;%JAVA_HOME%\bin;

    win10下 Zookeeper 安装和配置教程
  3. 测试java环境是否配置成功

    使用win+R键,输入cmd调出命令符控制窗口。输入:java -version 后查看是否显示版本即可。

  1. win10下 Zookeeper 安装和配置教程
  2. 找到解压路径的conf 文件夹,在里面复制一份zoo_sample.cfg并重命名为zoo.cfg文件。

  3. win10下 Zookeeper 安装和配置教程
  4. 找到解压路径的bin 文件夹,找到里面的执行文件。windows下是zkServer.cmd,运行,出现下面界面说明成功。

    win10下 Zookeeper 安装和配置教程






2.HBase 安装及改动

Hadoop配置改动:

core-site.xml配置:

<configuration>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>

</configuration>

hdfs-site.xml配置

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/D:/hadoop-2.9.0/workplace/hdfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/D:/hadoop-2.9.0/workplace/hdfs/datanode</value>  
    </property>
</configuration>

mapred-site.xml配置

<configuration>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

yarn-site.xml配置

<configuration>
<!– Site specific YARN configuration properties –>
<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

Hbase配置:

hbase-site.xml配置

<configuration>
<property>  
<name>hbase.rootdir</name>  
<value>hdfs://localhost:9000/hbase</value>  
</property> 
<property>  
<name>hbase.master.info.port</name>  
<value>60010</value>  
</property> 
</configuration>

hbase-env.sh 配置

export JAVA_HOME=C:/Program Files/Java/jdk1.8.0_102

export HBASE_CLASSPATH=D:/hbase-1.2.6

hbase-env.cmd:

set JAVA_HOME=C:/Program Files/Java/jdk1.8.0_102

set HBASE_CLASSPATH=D:/hbase-1.2.6

最后,启动Hadoop;
1.运行cmd窗口,执行“hdfs namenode -format”; 
2.运行cmd窗口,切换到hadoop的sbin目录,执行“start-all.cmd”,它将会启动以下进程。
启动Hbase:
切换到bin目录下,start-hbase.cmd

thrift服务

hbase本身已经集成了thrift,使用以下命令开启hbase thrift的服务器端。关闭是将start修改为stop即可。默认情况下监听9090端口。

[python] view plain copy

  1. hbase-daemon.sh start thrift2  
  2. hbase-daemons.sh start thrift2 (集群版本)  
说明:
1. 通过–config可以指定多个集群(copy 不同集群的配置文件至该服务器不同目录)
2. 通过-p可以指定不同的端口(不适用该参数,端口默认为9095)
3. 和thrift端口相关的还有一个属性,可在hbase-site.xml文件中添加、修改:hbase.thrift.info.port ,默认值是9090,所以同一台上启动多个thrift时,还要修改hbase-site.xml中该属性值
windows下为 

hbase.cmd thrift2 start --infoport 9095 -p 9090

博主QQ: 122209017

发表评论