HBase性能测试报告(2012/6/1)

2019-04-18 13:50 

1 测试环境

1.1 硬件环境

●五个HP Z210: 8G内存;4个型号为i7-2600的CPU,4核;千兆网卡;SATA 硬盘,7200/分钟

●CiscoCatalyst 3670交换机

1.2 软件环境

       OS:Red Hat 64bit;hadoop-1.0.3;HBase0.94.0

1.3 组网

 

2 写性能测试

●黑色曲线

4个客户端,分别部署在SM21、SM22、SM23和SM24。每个客户端有两个不共用连接的线程,表是非AutoFlush模式,数据满2M后,才向HRegionServer提交。8个线程不断向表的同一个列族插入value大小为1K的cell, rowkey为long类型的随机数。表的定义:create'test0', 'profile'。

测试880分钟。测试完成后,插入的数据共有548M个cell,数据量有548G。平均吞吐量为10000cells/s。

●蓝色曲线

4个客户端,分别部署在SM21、SM22、SM23和SM24。每个客户端有两个不共用连接的线程,表是非AutoFlush模式,数据满2M后,才向HRegionServer提交。8个线程不断向8个表的插入value大小为1K的cell, rowkey为long类型的随机数。

测试880分钟后,插入的数据共有467M个记录,数据量有467Gbyte。平均吞吐量为8000cell/s。

●红色曲线

1个客户端,部署在SM21。客户端有1个线程,表是非AutoFlush模式,数据满2M后,才向HRegionServer提交。线程不断向1个表的插入value大小为1K的cell, rowkey为long类型的随机数。表的定义:create 'test0', 'profile'。

测试880分钟后,插入的数据共有299M个记录,数据量有299Gbyte。平均吞吐量为5000cell/s。

3 读性能测试

3.1 随机查找测试1

表的定义如下:

create 'test0',{NAME => 'profile',BLOOMFILTER =>'ROWCOL'}

test0中有94M记录,value大小为1K。可以计算出表test0中共94GB数据。从test0中随机查找存在的数据。测试得出:每秒可以查询50次,时延为1000ms/50=20ms。

测试结果分析:

在HDFS上测试可知,随机读64K-block(64K?HBase IO的基本单位是64K)的延迟越为19ms。所以20MS的延迟主要是由于HDFS的延迟造成的。

注:如果没有BLOOMFILTER,性能会更低。

3.2随机查找测试2

除了4个客户端同时查询,其它与3.1相同。测试结果160次/S。每个客户端40次/S。

3.3随机查找测试3

一个客户端,查询不存在的记录,其它与3.1同。每秒可以查询75次,时延为1000ms/75 = 13ms。

测试结果分析:

测试结果比查询存在的记录稍高。原因是查询不存在的记录只需要读取bloom filter块;除此之外,查询存在的记录还需要读取数据块。

3.4 测试4

一个客户端进行范围查找,平均吞吐约为2400rows/s。

4 磁盘性能测试

4.1 顺序写

测试方法:一个进程,顺序写3000个文件,每个文件256MB,每次写64KB。

测试结果:写64KB的延迟为2.5ms,吞吐为28MB/S。

4.2 顺序读

测试方法:一个进程,顺序读3000个文件,每个文件256MB,每次读64KB。

测试结果:读64KB的延迟为0.8ms,吞吐为80MB/S。

4.3 随机64k-block读

测试方法:一个进程,随机读3000个文件,每个文件256MB,每次读64KB。

测试结果:读64KB的延迟为21ms,吞吐为3MB/S。

4.4 随机1b读

测试方法:一个进程,随机读3000个文件,每个文件256MB,每次读1KB。

测试结果:读1byte的延迟为18MS,吞吐为55B/S。

4.5 总结

磁盘读写延迟由三部分组成:寻道延迟+旋转延迟+传输延迟。

●  对比4.1和4.2, 读性能是写的3倍。

●  对比4.2和4.3,寻道延迟和旋转延迟占总时间的97%

●  4.4,IOPS能够达到55次/s

5 HDFS性能测试

5.1 顺序写测试

测试方法:一个进程,顺序写10个文件,每个文件10GB,每次写64KB。

测试结果:写64KB的延迟为4.7ms,吞吐为14MB/S。

5.2 随机64k-block读测试

测试方法:一个进程,随机读10个文件,每个文件10GB,每次读64KB。

测试结果:读64KB的延迟为2ms,吞吐为32MB/S。

发表评论

您必须 登录 才能发表留言!