包含标签：scala 的文章
-
spark DStream从不同数据源采集数据（RDD 队列、文件、diy 采集器、kafka）（scala 编程）
目录 1. RDD队列 2 textFileStream 3 DIY采集器 4 kafka数据源【重点】 1. RDD队列 a、使用场景：测试 b、实现方式: 通过ssc.queueStream(que……admin 2023-10-20
-
创建scala项目并增加新的object试运行
一、创建scala项目 依赖配置： scala，jdk，maven 没有maven也可以创建 1.1 直接创建 1.1.1 创建 选择新project 路径、依赖配置、代码调试 1.1.2 项目…… -
【BIT云计算大作业】基于Spark的K近邻（KNN）查询以及K-mer计数
以下实验源码均使用Scala语言编写。 作业中使用的输入文件可以通过以下网盘地址下载： https://pan.baidu.com/s/1J8miFmJ6RVZKZqe2O5gAwg 提取码：ethn 输入…… -
Scala特证/特质【6.7 特质（Trait）】
Scala特证/特质【6.7 特质（Trait）】 6.7 特质（Trait） Java 的接口 接口的作用 抽象类的作用 6.7.1 特质声明 6.7.2 特质基本语法 6.7.3 特质叠加…… -
Spark列级血缘(字段级别血缘)开发与实现
介绍 背景 由于一直苦于尝试追踪spark的列级血缘，所以出于个人目的对spark源代码进行了修改，并且在github上独立了一个项目(Ushas)。 传统数据治理中针…… -
编译kafka3.0.0和2.8.0源代码
编译kafka3.0.0和2.8.0源代码 这个过程历时5天期间遇到了无数的坑点，特此记录 版本和环境 ide： idea2021 系统：windows10 kafka版本：最初我想在本地运…… -
大数据学习06 Scala的基础语法
大数据学习06 Scala的基础语法 介绍Scala的基础语法 文章目录 大数据学习06 Scala的基础语法 前言 一、注释 二、变量与常量 1.基本语法 2.代码实操 …… -
Flink(scala)整合MySQL统计UV(unique visitor)
数据源是尚硅谷的课件, 需要的话可以私信我 核心代码 import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.confi…… -
大数据应用技术期末复习 | Spark Scala版本 | 八个章节总共89个选择题汇总 (附带答案)
文章目录 选择题总结 (89个题) 第1章 大数据技术概述 (10个题) 第2章 Scala 语言基础 (20个题) 第3章 Spark的设计与运行原理 (10个题) 第4章 Spark环境搭建…… -
RDD编程基础
一、创建RDD 两种方式： 1.从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD，该方法把文件的URI作为参数，这个URI可以是……