搜索内容

包含标签:kafka 的文章
  • kafka:各组件概念
    架构

    kafka:各组件概念

    摘要 kafka主要由Scala和Java编写,broker启动后可以直接用jps -l查看到是kafka进程。kafka是一种高吞吐量的分布式发布订阅消息系统,组件参数都比较多。 ……
    admin 2023-11-02
  • Kafka与Spark案例实践
    研发管理

    Kafka与Spark案例实践

    1.概述 Kafka系统的灵活多变,让它拥有丰富的拓展性,可以与第三方套件很方便的对接。例如,实时计算引擎Spark。接下来通过一个完整案例,运用Kafka和Spark来……
    admin 2023-10-30
  • 分享8个分布式Kafka的使用场景
    5G

    分享8个分布式Kafka的使用场景

    Kafka 最初是为海量日志处理而构建的。它保留消息直到过期,并让消费者按照自己的节奏提取消息。与它的前辈不同,Kafka 不仅仅是一个消息队列,它还是一个适……
    admin 2023-10-29
  • spark DStream从不同数据源采集数据(RDD 队列、文件、diy 采集器、kafka)(scala 编程)
    研发管理

    spark DStream从不同数据源采集数据(RDD 队列、文件、diy 采集器、kafka)(scala 编程)

    目录 1. RDD队列 2 textFileStream 3 DIY采集器 4 kafka数据源【重点】 1. RDD队列        a、使用场景:测试        b、实现方式: 通过ssc.queueStream(que……
    admin 2023-10-20
  • kafka、zookeeper、flink测试环境、docker
    5G

    kafka、zookeeper、flink测试环境、docker

    1、kafka环境单点 根据官网版本说明(3.6.0)发布,zookeeper依旧在使用状态,预期在4.0.0大版本的时候彻底抛弃zookeeper使用KRaft(Apache Kafka)官方并给出了z……
    admin 2023-10-20
  • 大数据高级面试题
    研发管理

    大数据高级面试题

    大数据高级面试题 Kafka的producer如何实现幂等性? Producer 幂等性 Producer 的幂等性指的是当发送同一条消息时,数据在 Server 端只会被持久化一次,数……
    admin 2023-10-19
  • springboot集成kafka
    物联网

    springboot集成kafka

    1、引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafk……
    admin 2023-10-15
  • kafka简述
    5G

    kafka简述

    前言 ​ 在大数据高并发场景下,当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候,就需要消息队列,作为抽象层,弥合双方的差异。一般选型是Kaf……
    admin 2023-10-13
  • kafka与zookeeper的集群
    研发管理

    kafka与zookeeper的集群

    基础配置 systemctl stop firewalld && systemctl disable firewalld setenforce 0 sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/……
    admin 2023-10-09
  • 大数据之Kafka————java来实现kafka相关操作
    Java

    大数据之Kafka————java来实现kafka相关操作

    一、在java中配置pom <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artif……
    admin 2023-10-08