包含标签：spark 的文章
-
安装elasticsearch集群
认识elasticsearch 最近在做一个关于spark整合Elasticsearch的项目，闲暇时便在自己机器上安装了一下elasticsearch集群。关于elasticserarch，这里简单做一……admin 2021-11-15
-
Spark开发环境搭建
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性…… -
Spark（一）：基础
Spark 概述 什么是Spark Spark是一种基于内存的快速，通用，可扩展的大数据分析计算引擎 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析…… -
SparkStreaming Bulkload入Hyperbase–应用与原理
SparkStreaming Bulkload入Hyperbase–应用与原理 一、环境准备 见《Spark3.1.2 on TDH622》 二、补充jar包 三、关键代码说明 接入kafka数据 JavaInputD…… -
华为云Hadoop与Spark集群环境搭建
华为云Hadoop与Spark集群环境搭建流程 Hadoop 2.7.1环境搭建 1、购买华为云服务器 2、修改服务器相关配置 3、配置ssh免密登录 4、JDK安装 5、Hadoop集群…… -
SparkSQL编程方式纯SQL读写Hive数据源
SparkSQL编程读写Hive数据源 一、准备工作 二、任务分析 三、编码实现 五、运行测试 一、准备工作 实验环境：IDEA + CentOS7 + Spark2.4.8+Hive2.…… -
SparkSQL优化笔记-Web-UI参数详解
1、背景 公司内部有大量SparkSQL任务，很多任务有数据倾斜或者内存分配不合理的情况，此博客记录下优化脚本过程中出现的一些问题及经验 2、WebUi应…… -
一文带你了解 Spark 架构设计与原理思想
卷友们，大家好 ~ 我是 Alex 。之前已经陆续输出了 Hadoop三大核心组件 的 架构思想和原理 和 Hive架构设计和原理 ，每篇都受到了读者小伙伴们的一致……