包含标签：spark 的文章
-
Hive on Spark （1）
spark中executor和driver分别有什么作用？ Spark中Executor 在 Apache Spark 中，Executor 是分布式计算框架中的一个关键组件，用于在集群中执行具体的计算……admin 2023-08-20
-
【BIT云计算大作业】基于Spark的K近邻（KNN）查询以及K-mer计数
以下实验源码均使用Scala语言编写。 作业中使用的输入文件可以通过以下网盘地址下载： https://pan.baidu.com/s/1J8miFmJ6RVZKZqe2O5gAwg 提取码：ethn 输入…… -
数据仓库常用名词汇总
数仓为了支撑企业或组织的决策和业务分析，而从各个业务系统中抽取数据集成到一个数据存储中心，这样的数据存储中心称为数据仓库（Data Warehouse），而在搭…… -
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解（图文解释）
一、Spark概述 Spark最初由美国加州伯克利大学（UCBerkeley）的AMP（Algorithms， Machines and People）实验室于2009年开发，是基于内存计算的大数据并行计…… -
Spark 基本架构及运行原理
Spark 基本架构及运行原理 Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver…… -
Spark读取JDBC调优
Spark读取JDBC调优，如何调参 一、场景构建 二、参数设置 1.灵活运用分区列 实际问题：工作中需要读取一个存放了三四年历史数据的pg数仓表（缺少主…… -
Spark SQL
1. Spark SQL 概述 Spark SQL 是 spark 用来处理结构化数据的模块，它提供了2个编程抽象, 类似 Spark Core 中的 RDD： DataFrame DataSet 1.1 DataFrame …… -
大数据–spark–核心：sparkCore
一. 什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。 在代码中是一个抽象类，它代表一个弹性的、不可变…… -
【大数据技术】Spark MLlib机器学习库、数据类型详解（图文解释）
机器学习的定义 机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习的构建过程是利用数据通过算法构建出模型并对模型进行评估，…… -
推荐系统实战（概念与架构）
概念与架构 推荐系统概念： 推荐系统主要用于信息过载＆用户需求不明确，对用户进行项目推荐。 推荐与Web项目的区别： Web项目：处理高并发实现高可用，提……