Kafka

By | 2018年11月27日
            kafka
             (消息队列)
1、kafka:在流式计算中,kafka一般用于数据缓存,storm通过kafka的数据进行计算。
2、kafka的特性:
    高吞吐量、低延迟
    可扩展性
    持久性、可靠性
    容错性
    高并发
3、kafka的核心组件:
    (1)broker:kafka的节点,一个kafka节点就是一个broker
    (2)topic:一类消息,消息存放目录即主题
    (3)partition:topic物理上的分组,一个topic可以有多个partition,每一个partition都是一个有序的队列
    (4)segment:partition的物理上是由segment组成
    (5)producer:生产message发送到topic
    (6)consumer:订阅topic的message,consumer作为一个线程来消费
    (7)consumer group:consumer的组,包含多个consumer

发表评论