包含标签:kafka 的文章
-
生产故障|Kafka ISR频繁伸缩缩引发性能急剧下降原因分析
本文是笔者双十一系列第二弹,源于一个双十一期间一个让笔者猝不及防的生产故障,本文将详细剖析Kafka的副本机制,以及ISR频繁变更(扩张与伸缩)为什么会导致…… -
Kafka:部署Kafka
文件下载 Java 8 ZooKeeper 3.6.3 Kafka 3.0.0 下载到本地。 使用Xftp或其他工具上传到虚拟机。 Java 解压: [[email protected] ~]# cd /…… -
Spring Cloud : Stream
Cloud Stream 主要使用的 MQ (消息中间件) ActiveMQ RabbitMQ RocketMQ Kafka 如此多的消息中间件,要都学完,人可能都没了! 有没有一种新的技术诞生,让…… -
-
MQ那点破事,消息丢失、重复消费、消费顺序、堆积、事务、高可用….
精彩文章汇总 GitHub https://github.com/aalansehaiyang/technology-talk ,Star 12K 汇总java生态圈常用技术框架、开源中间件,系统架构、数据库、大公司…… -
Kafka的消息自动提交和手动提交
只说结论! 如果我们使用原始apache-kafka 依赖的API来消费数据: 如果enable.auto.commit为true,则表示自动提交,但不会在拉取数据之后立即提交。在一次po…… -
-
Flink基于Java的WordCount,根据滑动窗口动态排序实现
背景 刚学习Flink没多久,之前用Spark做WordCount实现排序很简单,因为Spark做的WC是简单的批处理,直接排序就完事了,但是Flink的流处理需要考虑到状态(Sta…… -
大数据之Kafka看这一篇就够了
Kafka 异步通信原理 观察者模式 观察者模式(Observer),又叫发布-订阅模式(Publish/Subscribe) 定义对象间一种一对多的依赖关系,使得每当一个对象改…… -
sparkstreaming+flume+kafka实时流式处理完整流程
目录 sparkstreaming+flume+kafka实时流式处理完整流程 一、前期准备 二、实现步骤 1.引入依赖 2.日志收集服务器 3.日志接收服务器 4、spark集群处理……