包含标签：spark 的文章
-
sparkstreaming+flume+kafka实时流式处理完整流程
目录 sparkstreaming+flume+kafka实时流式处理完整流程 一、前期准备 二、实现步骤 1.引入依赖 2.日志收集服务器 3.日志接收服务器 4、spark集群处理……admin 2021-12-06
-
structured streaming 入门级初使用（一）
1、准备 导入依赖 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</ar…… -
交通数据分析系统：安装部署
文章目录 交通数据分析系统：安装部署 1、实验描述 2、实验环境 3、相关技能 4、知识点 5、效果图 6、实验步骤 7、总结 交通数据分析系统：安装部署…… -
提交运行 spark 任务到 kubernetes
零、spark on k8s 示意图 一、目标 运行 spark 任务到 kubernetes，spark on kubernetes。 参考 https://spark.apache.org/docs/3.2.0/running-on-kuberne…… -
Spark+Kafka构建Dashboard实训+踩坑笔记
项目简介 项目通过spark和kafka构建实时分析平台，设计消息预处理、消息队列发送、接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程 涉…… -
参考 Apache Spark 实现 Java 和 Scala 的 maven 混合编译
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和…… -
SparkStreaming接收Flume数据方式一：Push模式
SparkStreaming接收Flume数据方式一：Push模式 一、前置工作 二、Flume之Push模式 三、Flume配置 四、编写程序 五、运行验证 一、前置工作 需安装…… -
SparkStreaming动态读取kafka生产者生产的数据并将它存入MySQL数据库
SparkStreaming动态读取kafka生产者生产的数据并将它存入MySQL数据库 一、环境准备 二、编写程序 三、进行测试 关于使用sparkstreaming读取kafka生产者…… -
SparkStreaming读取kafka生产的数据，进行累计词频统计后将最新结果存入MySQL数据库
SparkStreaming读取kafka生产的数据，进行累计词频统计后将最新结果存入MySQL数据库 一、环境准备 二、环境启动 三、编写程序 四、进行测试 读取kafka数…… -
参考 Apache Spark 的源码自定义实现 Logging 日志打印工具
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和……