包含标签：spark 的文章
-
大数据应用技术期末复习 | Spark Scala版本 | 八个章节总共89个选择题汇总 (附带答案)
文章目录 选择题总结 (89个题) 第1章 大数据技术概述 (10个题) 第2章 Scala 语言基础 (20个题) 第3章 Spark的设计与运行原理 (10个题) 第4章 Spark环境搭建……admin 2022-01-04
-
图文详解Spark的运行原理（入门必看）
前言 上期文章，介绍了 Spark 是包含多个紧密集成的组件，这些组件结合密切并且可以相互调用，这样我们可以像在平常软件项目中使用程序库一样，组合使用这…… -
spark学习8：spark SQL
1.spark SQL是什么？ spark SQL类似 hive 的功能。 hive 是把SQL转译成 查询hadoop的语法， 而spark SQL是把 SQL转译成 查询spark的语法。 并且，spark SQL…… -
使Flink SQL Kafka Source支持独立设置并行度
前言 社区在Flink 1.12版本通过FLIP-146提出了增强Flink SQL DynamicTableSource/Sink接口的动议，其中的一个主要工作就是让它们支持独立设置并行度。很多Si…… -
spark复习资料
@[TOC](SPARK试题汇总) # 选择题 Scala中定义常量使用关键字 ？ A. val B. var C. object D. final for(i<-1 to 4;j<-0 to 3 if(i==j)) print(…… -
【Spark】Spark对数据的读入和写出操作
Spark对数据的读入和写出操作 数据存储在文件中 CSV类型文件 JSON类型文件 Parquet操作 分区操作 数据存储在Hive表中 数据存储在MySQL中 数据存储在…… -
Spark3.0核心调优参数小总结
点击上方蓝色字体，选择“设为星标” 回复”面试“获取更多惊喜 本文已经加入「大数据成神之路PDF版」中提供下载。你可以关注公众号，后台回复：「PDF」 即可…… -
毕业设计 : 基于Spark的海量新闻文本聚类 – Spark 新闻分类 文本分类新闻聚类
文章目录 0 前言 1 项目介绍 2 实现流程 3 开发环境 4 java目录功能介绍 5 scala目录功能介绍 5.1 求TF-IDF 5.2 调用K-means模型 5.3 评价方式 6 聚类…… -
S抽取Mysql
sq1.0 用Scala抽取Mysql指定数据到Hive的ODS层的指定分区表中 object demo_extractjob { def main(args: Array[String]): Unit = { System.setProper…… -
聊聊访问者模式与其在Calcite/Flink中的应用
前言 “访问者模式”在之前的文章里已经出现过几次了，择日不如撞日，今天接着聊吧。 The Visitor Pattern 访问者模式属于GoF设计模式分类中的行为型模式。它……