包含标签：spark 的文章
-
参考 Apache Spark 实现 Java 和 Scala 的 maven 混合编译
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和……admin 2021-11-26
-
SparkStreaming接收Flume数据方式一：Push模式
SparkStreaming接收Flume数据方式一：Push模式 一、前置工作 二、Flume之Push模式 三、Flume配置 四、编写程序 五、运行验证 一、前置工作 需安装…… -
SparkStreaming动态读取kafka生产者生产的数据并将它存入MySQL数据库
SparkStreaming动态读取kafka生产者生产的数据并将它存入MySQL数据库 一、环境准备 二、编写程序 三、进行测试 关于使用sparkstreaming读取kafka生产者…… -
SparkStreaming读取kafka生产的数据，进行累计词频统计后将最新结果存入MySQL数据库
SparkStreaming读取kafka生产的数据，进行累计词频统计后将最新结果存入MySQL数据库 一、环境准备 二、环境启动 三、编写程序 四、进行测试 读取kafka数…… -
参考 Apache Spark 的源码自定义实现 Logging 日志打印工具
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和…… -
Spark SQL 内置函数（二）Map Functions（基于 Spark 3.2.0）
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和…… -
Scala 的代码风格怎么统一？这份 scalastyle 配置你可以无脑复制
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和…… -
SparkStreaming读取Kafka数据源
SparkStreaming读取Kafka数据源 一、前提工作 二、实验内容 一、前提工作 安装了zookeeper 安装了Kafka 实验环境：kafka_2.11-2.3.1.tgz + zookee…… -
bigdata_kafka与streaming
一丶Kafka应用 鉴于kafka在实际使用时，绝大多数应用场景均为Producer和Consumer的API配合使用，故在此只介绍这两种API操作方法，其它的Connector和Str…… -
Spark综合学习笔记（三）搜狗搜索日志分析
学习致谢： https://www.bilibili.com/video/BV1Xz4y1m7cv?p=36 一、 数据 数据网站： http: //www.sogou.com/labs/resource/q.php 二、需求 针对SougoQ……