Centos中hive/hbase/hadoop/mysql实际操作及问题总结

By | 2019年1月31日

目录

Hive中文乱码问题

hive和hbase的版本不一致

Ambari hive插入Hbase出错

Hive0.12和Hbase0.96不兼容,重新编译hive0.12.0

 hiveserver不能正常启动

hive连接eclipse不能复杂查询,不能加where

 

Hive中文乱码问题

众所周知,我们都是使用mysql存储hive的元数据,可以执行带有中文注释的建表文件,解决中文乱码的问题:

要把元数据库设定为latin1而把存储中文的数据表的编码设定为utf-8格式,即存储在hive里的表是utf-8的。

以下几种是不可行的:

  1. 将meta database(mysql)的编码设定为utf-8.hive运行会报错

  2.将meta server(mysql)的编码全部设定为latin1.表格在导入时会出现Incorrect string value: ‘\xC2\x8A\xC2\xA8\xC3\xA7…’ 的错误。

所以,将数据库编码为latin1,表编码设定为utf8 

例子:

1.按照latin1编码建立hive的meta数据库

2.修改hive-seite.xml的连接编码为UTF8

 <name>javax.jdo.option.ConnectionURL</name> 
<value>jdbc:mysql://localhost:3306/hive?useUnicode=true&characterEncoding=UTF-8&createDatabaseIfNotExist=true</value> 

3.修改表编码 

简单:values为列
alter table detail3 modify values  character set utf8;
加注释:name为列
alter table tabletest modify name COMMENT varchar(256) character set utf8;

  如果在SecureCRT运行hive客户端,则

(1)SecureCRT的Options-Session Options-Character encoding设置为UTF-8;

(2)SecureCRT的Options-Session Options-Normal font设置为Fixedsys,同时字符集设置为CHINESE_GB2312。
 
hbase client scan出来的数据时ASCII码,但用java API显示为正确的。
使用HBase API时不要使用str.getBytes将String转化为byte[] ,而应该使用Bytes.toBytes(str);同样使用Bytes.toString(bytes);完成逆向转换。
 

hive和hbase的版本不一致

建表时:

java.lang.IllegalArgumentException: Not a host:port pair: PBUF

解决办法:

<HIVE_HOME>/lib/hbase-x.y.z*.jar的版本和当前环境中HBase的版本不一致造成的,只要把hbase-x.y.z*.jar 替换成<HBASE_HOME>/lib/下的相关jar 即可。

如用用<HBASE_HOME>/lib/目录下得jar包

hbase-client-0.98.0-hadoop2.jar
hbase-common-0.98.0-hadoop2-tests.jar
hbase-common-0.98.0-hadoop2.jar
hbase-protocol-0.98.0-hadoop2.jar
hbase-server-0.98.0-hadoop2.jar
htrace-core-2.04.jar

 替换掉<HIVE_HOME>/lib/目录下的jar包:

hbase-0.94.6.1-tests.jar
hbase-0.94.6.1.jar

 

Ambari hive插入Hbase出错

insert overwrite table hbase_detail3 select * from detail3;出现错误:

Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.mapreduce.TableInputFormatBase

解决办法:是因为hive_aux_jars_path不生效或者冲突(hive-env.sh hive-site.xml)

unzip -l /usr/lib/hbase/lib/hbase-server-0.96.0.2.0.6.0-68-hadoop2.jar | grep TableInputFormatBase
5363 10-09-2013 19:45 org/apache/hadoop/hbase/mapred/TableInputFormatBase.class
7460 10-09-2013 19:45 org/apache/hadoop/hbase/mapreduce/MultiTableInputFormatBase.class
8803 10-09-2013 19:45 org/apache/hadoop/hbase/mapreduce/TableInputFormatBase.class

  说明hbase-server-0.96.0.2.0.6.0-68-hadoop2.jar是包含相关的类的,可能hive客户端在启动时并没有加载成功。

测试:在hive命令行下手动加载hbase的jar包,再运行,最笨的办法

create table test_hbase(id int,name string) row format delimited fields terminated by ',' stored as textfile;

load data local inpath '/home/kang/hive/test_hbase.txt' overwrite into table test_hbase;

CREATE TABLE test_hbase(id int,name string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = "name:val") TBLPROPERTIES("hbase.table.name" = "testhbase");

insert overwrite table test_hbase select * from testhbase;

hive>add jar /usr/lib/hive/lib/hive-hbase-handler-0.12.0.2.0.6.1-102.jar;
	add jar /usr/lib/hive/lib/hbase-protocol-0.96.1.2.0.6.1-102-hadoop2.jar;
	add jar /usr/lib/hbase/lib/protobuf-java-2.5.0.jar;
	add jar /usr/lib/hbase/lib/hbase-client-0.96.1.2.0.6.1-102-hadoop2.jar;
	add jar /usr/lib/hbase/lib/hbase-common-0.96.1.2.0.6.1-102-hadoop2.jar;
	add jar /usr/lib/hbase/lib/zookeeper.jar;
	add jar /usr/lib/hbase/lib/guava-12.0.1.jar;
	add jar /usr/lib/hbase/lib/hbase-server-0.96.1.2.0.6.1-102-hadoop2.jar;
	add jar /usr/lib/hbase/lib/htrace-core-2.04.jar (注意:这个不太确定具体名称,需要到/usr/lib/hbase/lib/下确定下)
测试:insert overwrite table test_hbase select * from testhbase;
大量导入:insert overwrite table hbase_detail3 select * from detail3;

其他可能:

在运行数据导入前设置hive中的mapreduce的jobtracker为本地,命令为hive>SET mapred.job.tracker=local;

 

Hive0.12和Hbase0.96不兼容,重新编译hive0.12.0

hadoop-2.2.0+hbase-0.96.2+hive-0.12.0在启动时没有问题,但在hive查询或者向hbase表中插入数据时出错 (CentOS 6.5) (Ubuntu 下兼容 )

搜集的错误主要有两种:

1. hive复制到hbase:

  insert overwrite table test_hbase select * from testhbase;

错误:Error: java.lang.NullPointerException 

  Caused by: java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: “centos/192.168.0.120”; destination host is: “centos”:8020; 

hive_hbase-handler-0.12.0.jar这个jar包要根据连接hbase的版本进行重新编译

2. select *  from test_hbase; 查询hbase表

Failed with exception java.io.IOException:java.lang.ClassCastException: org.apache.hadoop.hbase.client.Result cannot be cast to org.apache.hadoop.io.Writable

原因:hive0.12是基于hadoop1.x的,hbase-0.98.2和hive-0.13.0都是基于hadoop2.x升级的,是至今为止最新匹配版本,但还是得在maven3下编译hive-0.13.0才可以使用。

最终采用的是hadoop-2.2.0+hive-0.13.0+hbase-0.96.2,测试通过,没有问题,完全按照文档拷贝jar包、hbase-site.xml、配置hive_aux_jars_path即可,非常方便。

这里还是讲一下,hive-0.12的编译:

hive-0.12是基于hadoop1.3和hbase0.94的,所以必须进行替换。

而hbase0.96是基于hadoop2.2的,所以我们必须先解决hive的hadoop版本问题,目前我们从官网下载的hive都是用1.x的版本编译的,因此我们需要自己下载源码来用hadoop2.X的版本重新编译hive,这个过程也很简单,只需要如下步骤:

hive0.12是基于hadoop1.x的,hbase是基于hadoop2.2.0的,所以要解决hive的hadoop版本问题,重新编译:

安装svn

sudo  yum install -y subversion

svn checkout http://svn.apache.org/repos/asf/hive/branches/branch-0.12  或者 

安装maven

下载地址:http://maven.apache.org/download.cgi

tar -zxvf apache-maven-3.2.3
vim /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.2.3 
export PATH=.:$MAVEN_HOME/bin:$PATH  
source /etc/profile 
mvn --version 

切换到branch-0.12,开始编译hive

mvn clean package -DskipTests -Phadoop-2

 

   1. 先从http://svn.apache.org/repos/asf/hive/branches/branch-0.12 或者是http://svn.apache.org/repos/asf/hive/trunk   我们下载到/home/hadoop/branch-0.12下。 branch-0.12是使用ant编译,trunk下面是使用maven编译,

   2.编译是需要maven的,如果你机器没有配置maven,需要从http://maven.apache.org/download.cgi 下载maven,然后解压出来并在PATH下把$maven_home/bin加入,然后在dos下或者shell下运行mvn –-version,就能知道maven是否配置成功

  3.配置好maven开始编译hive,我们cd到下载源码的branch-0.12 目录,然后运行mvn clean package -DskipTests -Phadoop-2开始编译

  4.编译好后的新jar包是存放在各个模块下的target的,这些新jar包的名字都叫hive-***-0.13.0-SNAPSHOT.jar,***为hive下的模块名,我们需要运行命令将其拷贝到hive-0.12.0/lib下。

  find /home/hadoop/branch-0.12  -name “hive*SNAPSHOT.jar”|xargs -i cp {} /home/hadoop/hive-0.12.0/lib。

拷贝过去后我们比照着删除原lib下对应的0.12版本的jar包

 

 hiveserver不能正常启动

出现问题:

报错如下:
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.

原因:端口被占用或IP配置不正确

查看端口进程:lsof -i tcp:10001 查看所有端口:netstat -ntlp

root@centos:# lsof -i tcp:10000
COMMAND   PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    26781 root  264u  IPv4 3576031      0t0  TCP *:ndmp (LISTEN)

root@centos:# kill -9 进程id,即kill -9 26781

 

hive连接eclipse不能复杂查询

记住:一定要把防火墙关掉,或者开放端口 service iptables stop

问题描述

在Hive查询时,可以运行desc table;select * from table limit n;

但是涉及到复杂一点的,在CLI下需要运行mapreduce的时候,

如select count(*) from table 或者 select * from table where 1=1

解决思路:

就会报错,一般在eclipse下找不到出错的原因,这时候可以查看

hive –service hiveserver –hiveconf  hive.root.logger=DEBUG,console输出的调试信息

这一次遇到的错误是因为,hive-hbase-handle-0.12.0.jar在/usr/local/hive/lib/下找不到,

mv hive-hbase-handle-0.13.1.jar hive-hbase-handle-0.12.0.jar 即可

由此看来,hive-hbase-handle 是一个很重要的jar类。

 

解决hive的jdbc临时目录的权限问题

遇到问题

select * from flag where 1 =1  and cust_no = 'A3325221981121080410'  limit 5java.sql.SQLException: Error while processing statement: FAILED: RuntimeException org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=WRITE, inode="/tmp/hive-hive":hive:hdfs:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:234)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:214)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:158)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5202)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:5184)

查看权限

[root@HADOOP7 ~]# hadoop fs -ls /tmp
Found 5 items
drwxr-xr-x   - hdfs          hdfs          0 2014-10-22 17:06 /tmp/hive-hdfs
drwxr-xr-x   - hive          hdfs          0 2014-09-22 10:41 /tmp/hive-hive
drwxr-xr-x   - root          hdfs          0 2014-10-28 10:50 /tmp/hive-root
-rw-r--r--   3 Administrator hdfs          3 2014-09-01 16:18 /tmp/qq.txt
-rw-r--r--   3 Administrator hdfs         20 2014-09-03 11:08 /tmp/test.txt

 修改权限

[root@HADOOP7 ~]# hadoop dfs -chmod -R 755 /tmp/  

 

发表评论