基于flume的日志收集系统配置

基于flume的日志收集系统配置

大数据系统中通常需要采集的日志有: 系统访问日志 用户点击日志 其他业务日志(比如推荐系统的点击日志) 在收集日志的时候,一般分为三层结构:采集层、汇总层和...
Flume收集数据直接入Solr

Flume收集数据直接入Solr

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhenzhendeblog/article/details/72673574 一.背景 在CDH平台...
使用JSch远程部署flume采集点

使用JSch远程部署flume采集点

版权声明:转载请注明出处。 https://blog.csdn.net/tiantang_1986/article/details/46412107 公司有个需求,为了减少运维人员的工作量,需要开发一个...
在Windows环境下编译调试Hbase源码

在Windows环境下编译调试Hbase源码

一、 hbase架构简介 HBase 是一个开源的、分布式的、数据多版本的,列式存储的nosql数据库。依托 Hadoop 的分布式文件系统 HDFS 作为底层存储, 能够为数十亿行数百万...
Hbase 的热点问题及rowkey的散列原则

Hbase 的热点问题及rowkey的散列原则

这是我直接根据0-9 进行partition  预分组,然后以已1-10000为rowkey进行插入,我想象中的是,起始位分布都差不多,根据高位字典进行排序,按道理来说是很完美的,但...
Hive创建表时添加中文注释后乱码问题

Hive创建表时添加中文注释后乱码问题

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/leen0304/article/details/80534385 创建数据表时我们经验会添加一些中...
Hive执行计划详解

Hive执行计划详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_39216383/article/details/79197701 Hive的底层就是Map...
hive分区表详细介绍

hive分区表详细介绍

一,什么是分区表以及作用 数据分区的概念以及存在很久了,通常使用分区来水平分散压力,将数据从物理上移到和使用最频繁的用户更近的地方,以及实现其目的。       ...
Hive 解析 json,json array

Hive 解析 json,json array

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haohaixingyun/article/details/81097251     在大数据处理中经常遇到...