包含标签：kafka 的文章
-
Kafka开发环境搭建及应用
Kafka开发环境搭建及应用 kafka的介绍 架构 工作流程 存储机制 生产者 分区策略 数据可靠性保证 副本数据同步策略 ACK 应答机制 可靠性指标 消费……admin 2022-01-13
-
一文读懂Kafka Connect核心概念
概览 Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得…… -
滴滴二面：Kafka是如何读写副本消息的？
无论是读取副本还是写入副本，都是通过底层的Partition对象完成的，而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说，理解这些字段的用途…… -
网易三面：说说Kafka的Follower是如何拉取Leader消息的？
搞懂AbstractFetcherThread的processPartitionData、truncate、buildFetch等方法，就掌握了拉取线程的处理逻辑。串联起这三个方法的doWork方法就能完整理解Fo…… -
Kafka 实现动态goupId 实现广播消息
有些场景下 我们需要广播消息, kafka在partition上的每条消息, 便宜想是按照group为单位做副本的, 所以针对每条消息, 每组groupId对应的消费者都会分别消费一…… -
【文末35本书一次送】Kafka 消费者之 findCoordinator源码解析
?《Kafka运维管控平台》? ✏️更强大的管控能力✏️ ?更高效的问题定位能力? ?更便捷的集群运维能力? ?更专业的资源治理? ?更友好的运维生…… -
腾讯三面：说说Kafka的分区状态机的实现原理？
PartitionStateMachine分区状态转换实现 1 我为何读这源码？ PartitionStateMachine，分区状态机负责管理Kafka分区状态的转换，类似ReplicaStateMachine。 …… -
美团二面：详细说说Kafka拉消息的过程？
AbstractFetcherThread：拉取消息的步骤 副本机制是Kafka实现数据高可靠性的基础：同一个分区下的多个副本分散在不同的Broker机器上，它们保存相同的消息数…… -
实时数仓与离线数仓架构对比、Flink消费流程
实时数仓架构图： 离线数仓： 与离线数仓区别： MySQL业务数据采集改用FlinkCDC;FlinkCDC与Maxwell处理方式和Cannal一样通过监控binlog方式（行级别），…… -
离线数仓中的同步策略、Flume、Kafka
离线数仓当中Sqoop采集MySQL中数据同步策略有：增量全量新增及变化特殊；Sqoop怎么处理？ where判断日期：新增：where 创建时间 = 当天；全量：where 1 = 1；……