KafkaController 分区Rebalance平衡机制

KafkaController 分区Rebalance平衡机制

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhanglh046/article/details/72822013 private def checkAndTriggerP...
kafka数据丢失的原因

kafka数据丢失的原因

数据丢失原因:数据已经被消费但是offset没有提交。 原因1:强行kill线程,导致消费后的数据,offset没有提交。 原因2:设置offset为自动提交,关闭kafka时,如果在cl...
Flink读写系列之-读Kafka并写入Kafka

Flink读写系列之-读Kafka并写入Kafka

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/javajxz008/article/details/83269814 读写Kafka比较简单,官方提供了c...
Kafka分区数据倾斜问题

Kafka分区数据倾斜问题

问题产生背景:某项目 spark streaming消费kafka dragon_browser 在晚高峰期间比较大,qps 大约25K/s,导致消费延迟比较高 分析问题:通过kafka manager发现...
Kafka之——简单客户端编程

Kafka之——简单客户端编程

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/l1028386804/article/details/78383783 转载请注明出处:http://blog.c...
kafka 服务端常用命令

kafka 服务端常用命令

从控制台查看topic中的数据 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning 查看kafka的已有的topic bin/kafka-topics....
kafka 重复数据读取原因

kafka 重复数据读取原因

       之前一直遇到kafka数据读取重复的问题,但都通过一些方式去避免了,今天专门去探究了下原因。出现这个问题,一般都是设置kafkaoffset自动提交的时候发生的。原...