包含标签：spark 的文章
-
SparkStreaming Bulkload入Hyperbase–应用与原理
SparkStreaming Bulkload入Hyperbase–应用与原理 一、环境准备 见《Spark3.1.2 on TDH622》 二、补充jar包 三、关键代码说明 接入kafka数据 JavaInputD……admin 2021-11-11
-
华为云Hadoop与Spark集群环境搭建
华为云Hadoop与Spark集群环境搭建流程 Hadoop 2.7.1环境搭建 1、购买华为云服务器 2、修改服务器相关配置 3、配置ssh免密登录 4、JDK安装 5、Hadoop集群…… -
SparkSQL编程方式纯SQL读写Hive数据源
SparkSQL编程读写Hive数据源 一、准备工作 二、任务分析 三、编码实现 五、运行测试 一、准备工作 实验环境：IDEA + CentOS7 + Spark2.4.8+Hive2.…… -
SparkSQL优化笔记-Web-UI参数详解
1、背景 公司内部有大量SparkSQL任务，很多任务有数据倾斜或者内存分配不合理的情况，此博客记录下优化脚本过程中出现的一些问题及经验 2、WebUi应…… -
一文带你了解 Spark 架构设计与原理思想
卷友们，大家好 ~ 我是 Alex 。之前已经陆续输出了 Hadoop三大核心组件 的 架构思想和原理 和 Hive架构设计和原理 ，每篇都受到了读者小伙伴们的一致……