包含标签:spark 的文章
-
安装elasticsearch集群
认识elasticsearch 最近在做一个关于spark整合Elasticsearch的项目,闲暇时便在自己机器上安装了一下elasticsearch集群。关于elasticserarch,这里简单做一…… -
-
Spark(一):基础
Spark 概述 什么是Spark Spark是一种基于内存的快速,通用,可扩展的大数据分析计算引擎 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析…… -
SparkStreaming Bulkload入Hyperbase–应用与原理
SparkStreaming Bulkload入Hyperbase–应用与原理 一、环境准备 见《Spark3.1.2 on TDH622》 二、补充jar包 三、关键代码说明 接入kafka数据 JavaInputD…… -
华为云Hadoop与Spark集群环境搭建
华为云Hadoop与Spark集群环境搭建流程 Hadoop 2.7.1环境搭建 1、购买华为云服务器 2、修改服务器相关配置 3、配置ssh免密登录 4、JDK安装 5、Hadoop集群…… -
SparkSQL编程方式纯SQL读写Hive数据源
SparkSQL编程读写Hive数据源 一、准备工作 二、任务分析 三、编码实现 五、运行测试 一、准备工作 实验环境:IDEA + CentOS7 + Spark2.4.8+Hive2.…… -
SparkSQL优化笔记-Web-UI参数详解
1、背景 公司内部有大量SparkSQL任务,很多任务有数据倾斜或者内存分配不合理的情况,此博客记录下优化脚本过程中出现的一些问题及经验 2、WebUi应…… -
一文带你了解 Spark 架构设计与原理思想
卷友们,大家好 ~ 我是 Alex 。之前已经陆续输出了 Hadoop三大核心组件 的 架构思想和原理 和 Hive架构设计和原理 ,每篇都受到了读者小伙伴们的一致……