包含标签:kafka 的文章
-
现代数据环境下,如何做数据集成?这11个靠谱实践收藏了
目录 前言 一、11个最佳实践 1、尽量避免手工编码 2、由业务驱动并减少对 Schema 规范的依赖 3、设计批流一体的数据处理框架 4、在提取时清洗原始数据 5…… -
Kafka【入门篇】
Kafka Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中…… -
-
一文读懂Kafka Connect核心概念
概览 Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得…… -
滴滴二面:Kafka是如何读写副本消息的?
无论是读取副本还是写入副本,都是通过底层的Partition对象完成的,而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说,理解这些字段的用途…… -
网易三面:说说Kafka的Follower是如何拉取Leader消息的?
搞懂AbstractFetcherThread的processPartitionData、truncate、buildFetch等方法,就掌握了拉取线程的处理逻辑。串联起这三个方法的doWork方法就能完整理解Fo…… -
Kafka 实现动态goupId 实现广播消息
有些场景下 我们需要广播消息, kafka在partition上的每条消息, 便宜想是按照group为单位做副本的, 所以针对每条消息, 每组groupId对应的消费者都会分别消费一…… -
【文末35本书一次送】Kafka 消费者之 findCoordinator源码解析
?《Kafka运维管控平台》? ✏️更强大的管控能力✏️ ?更高效的问题定位能力? ?更便捷的集群运维能力? ?更专业的资源治理? ?更友好的运维生…… -
腾讯三面:说说Kafka的分区状态机的实现原理?
PartitionStateMachine分区状态转换实现 1 我为何读这源码? PartitionStateMachine,分区状态机负责管理Kafka分区状态的转换,类似ReplicaStateMachine。 …… -
美团二面:详细说说Kafka拉消息的过程?
AbstractFetcherThread:拉取消息的步骤 副本机制是Kafka实现数据高可靠性的基础:同一个分区下的多个副本分散在不同的Broker机器上,它们保存相同的消息数……