包含标签:kafka 的文章
-
-
一文读懂Kafka Connect核心概念
概览 Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得…… -
滴滴二面:Kafka是如何读写副本消息的?
无论是读取副本还是写入副本,都是通过底层的Partition对象完成的,而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说,理解这些字段的用途…… -
网易三面:说说Kafka的Follower是如何拉取Leader消息的?
搞懂AbstractFetcherThread的processPartitionData、truncate、buildFetch等方法,就掌握了拉取线程的处理逻辑。串联起这三个方法的doWork方法就能完整理解Fo…… -
Kafka 实现动态goupId 实现广播消息
有些场景下 我们需要广播消息, kafka在partition上的每条消息, 便宜想是按照group为单位做副本的, 所以针对每条消息, 每组groupId对应的消费者都会分别消费一…… -
【文末35本书一次送】Kafka 消费者之 findCoordinator源码解析
?《Kafka运维管控平台》? ✏️更强大的管控能力✏️ ?更高效的问题定位能力? ?更便捷的集群运维能力? ?更专业的资源治理? ?更友好的运维生…… -
腾讯三面:说说Kafka的分区状态机的实现原理?
PartitionStateMachine分区状态转换实现 1 我为何读这源码? PartitionStateMachine,分区状态机负责管理Kafka分区状态的转换,类似ReplicaStateMachine。 …… -
美团二面:详细说说Kafka拉消息的过程?
AbstractFetcherThread:拉取消息的步骤 副本机制是Kafka实现数据高可靠性的基础:同一个分区下的多个副本分散在不同的Broker机器上,它们保存相同的消息数…… -
实时数仓与离线数仓架构对比、Flink消费流程
实时数仓架构图: 离线数仓: 与离线数仓区别: MySQL业务数据采集改用FlinkCDC;FlinkCDC与Maxwell处理方式和Cannal一样通过监控binlog方式(行级别),…… -
离线数仓中的同步策略、Flume、Kafka
离线数仓当中Sqoop采集MySQL中数据同步策略有:增量全量新增及变化特殊;Sqoop怎么处理? where判断日期:新增:where 创建时间 = 当天;全量:where 1 = 1;……