包含标签：spark 的文章
-
Scala 的代码风格怎么统一？这份 scalastyle 配置你可以无脑复制
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和……admin 2021-11-23
-
SparkStreaming读取Kafka数据源
SparkStreaming读取Kafka数据源 一、前提工作 二、实验内容 一、前提工作 安装了zookeeper 安装了Kafka 实验环境：kafka_2.11-2.3.1.tgz + zookee…… -
bigdata_kafka与streaming
一丶Kafka应用 鉴于kafka在实际使用时，绝大多数应用场景均为Producer和Consumer的API配合使用，故在此只介绍这两种API操作方法，其它的Connector和Str…… -
Spark综合学习笔记（三）搜狗搜索日志分析
学习致谢： https://www.bilibili.com/video/BV1Xz4y1m7cv?p=36 一、 数据 数据网站： http: //www.sogou.com/labs/resource/q.php 二、需求 针对SougoQ…… -
安装elasticsearch集群
认识elasticsearch 最近在做一个关于spark整合Elasticsearch的项目，闲暇时便在自己机器上安装了一下elasticsearch集群。关于elasticserarch，这里简单做一…… -
Spark开发环境搭建
夫君子之行，静以修身，俭以养德，非淡泊无以明志，非宁静无以致远。 夫学须静也，才须学也，非学无以广才，非志无以成学。淫慢则不能励精，险躁则不能冶性…… -
Spark（一）：基础
Spark 概述 什么是Spark Spark是一种基于内存的快速，通用，可扩展的大数据分析计算引擎 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析…… -
SparkStreaming Bulkload入Hyperbase–应用与原理
SparkStreaming Bulkload入Hyperbase–应用与原理 一、环境准备 见《Spark3.1.2 on TDH622》 二、补充jar包 三、关键代码说明 接入kafka数据 JavaInputD…… -
华为云Hadoop与Spark集群环境搭建
华为云Hadoop与Spark集群环境搭建流程 Hadoop 2.7.1环境搭建 1、购买华为云服务器 2、修改服务器相关配置 3、配置ssh免密登录 4、JDK安装 5、Hadoop集群…… -
SparkSQL编程方式纯SQL读写Hive数据源
SparkSQL编程读写Hive数据源 一、准备工作 二、任务分析 三、编码实现 五、运行测试 一、准备工作 实验环境：IDEA + CentOS7 + Spark2.4.8+Hive2.……