包含标签:scala 的文章
-
Spark列级血缘(字段级别血缘)开发与实现
介绍 背景 由于一直苦于尝试追踪spark的列级血缘,所以出于个人目的对spark源代码进行了修改,并且在github上独立了一个项目(Ushas)。 传统数据治理中针…… -
编译kafka3.0.0和2.8.0源代码
编译kafka3.0.0和2.8.0源代码 这个过程历时5天期间遇到了无数的坑点,特此记录 版本和环境 ide: idea2021 系统:windows10 kafka版本:最初我想在本地运…… -
大数据学习06 Scala的基础语法
大数据学习06 Scala的基础语法 介绍Scala的基础语法 文章目录 大数据学习06 Scala的基础语法 前言 一、注释 二、变量与常量 1.基本语法 2.代码实操 …… -
Flink(scala)整合MySQL统计UV(unique visitor)
数据源是尚硅谷的课件, 需要的话可以私信我 核心代码 import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.confi…… -
大数据应用技术期末复习 | Spark Scala版本 | 八个章节总共89个选择题汇总 (附带答案)
文章目录 选择题总结 (89个题) 第1章 大数据技术概述 (10个题) 第2章 Scala 语言基础 (20个题) 第3章 Spark的设计与运行原理 (10个题) 第4章 Spark环境搭建…… -
RDD编程基础
一、创建RDD 两种方式: 1.从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD,该方法把文件的URI作为参数,这个URI可以是…… -
Spark3 AQE之自动合并Shuffle partition源码解读
Branch:spark-3.0 有不对的地方欢迎各位大佬批评指正! 相关参数: spark.sql.adaptive.enabled AQE是否开启 spark.sql.adaptive.coalescePartitions.enable…… -
大数据之Spark
Spark介绍 什么是Spark 专为大规模数据处理而设计的快速通用的计算引擎 类 Hadoop MapReduce 的通用并行计算框架 拥有 Hadoop MapReduce 所具有的优点 …… -
-
Scala中使用SOFA jraft 实现rpc的优化
背景 项目基于sofa jraft构建,顺便使用了其自带的rpc服务,协议使用protobuf,使用jraft创建一个rpc服务RaftRpcServerFactory.createRaftRpcServer(serverI……