包含标签:kafka 的文章
-
离线数仓中的同步策略、Flume、Kafka
离线数仓当中Sqoop采集MySQL中数据同步策略有:增量全量新增及变化特殊;Sqoop怎么处理? where判断日期:新增:where 创建时间 = 当天;全量:where 1 = 1;…… -
字节终面:说说Kakfa副本状态机的实现原理?
关注文末公众号,有惊喜福利! 读这源码有何用? ReplicaStateMachine是内部组件,一般用户感觉不到存在,但搞懂它,对从根本定位一些数据不一致问题大有…… -
Flink使用KafkaSource从Kafka消息队列中读取数据
Flink使用KafkaSource从Kafka消息队列中读取数据 使用KafkaSource从Kafka消息队列中读取数据 1.KafkaSource创建的DataStream是一个并行的DataStream 2.KafkaS…… -
阿里四面:kafka何时、如何删除Topic?
Topic是怎么被删除的? Kafka有很多状态机和管理器,如Controller通道管理器ControllerChannelManager、处理Controller事件的ControllerEventManager等。这…… -
Kafka之kafka-eagle监控
kafka-eagle是一个界面优美的监控网址,那么该如何配置? 1.修改/opt/module/kafka/bin/kafka-server-start.sh命令,并分发到集群的其他服务器上 if [ "x$KAF…… -
Kafka的生产者与消费者机制+分区策略你这还不懂?
什么是Kafka Kafka是最初由Linkedin公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目,也是一个开源【分布式流处理平台】,由Scala和Java…… -
kafka带kerberos和sasl安全认证:命令行消费指定topic数据
1.指令 /usr/hdp/kafka/bin/kafka-console-consumer.sh --bootstrap-server phmkafka:9092 --topic pwtsdata --from-beginning --security-protocol SASL_…… -
【参赛作品95】DLI Flink SQL+kafka+(opengauss和mysql)进行电商实时业务数据分析
作者:吴毅 电商实时业务数据分析案例, 测试环境:操作系统:EulerOS_2.8_ARM-20200308_20200308192159 硬件配置:4vCPUs | 16 GiB | kc1.xlarge.4 IP地址…… -
-
生产故障|Kafka ISR频繁伸缩缩引发性能急剧下降原因分析
本文是笔者双十一系列第二弹,源于一个双十一期间一个让笔者猝不及防的生产故障,本文将详细剖析Kafka的副本机制,以及ISR频繁变更(扩张与伸缩)为什么会导致……