包含标签：scala 的文章
-
Spark列级血缘(字段级别血缘)开发与实现
介绍 背景 由于一直苦于尝试追踪spark的列级血缘，所以出于个人目的对spark源代码进行了修改，并且在github上独立了一个项目(Ushas)。 传统数据治理中针……admin 2022-01-13
-
编译kafka3.0.0和2.8.0源代码
编译kafka3.0.0和2.8.0源代码 这个过程历时5天期间遇到了无数的坑点，特此记录 版本和环境 ide： idea2021 系统：windows10 kafka版本：最初我想在本地运…… -
大数据学习06 Scala的基础语法
大数据学习06 Scala的基础语法 介绍Scala的基础语法 文章目录 大数据学习06 Scala的基础语法 前言 一、注释 二、变量与常量 1.基本语法 2.代码实操 …… -
Flink(scala)整合MySQL统计UV(unique visitor)
数据源是尚硅谷的课件, 需要的话可以私信我 核心代码 import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.confi…… -
大数据应用技术期末复习 | Spark Scala版本 | 八个章节总共89个选择题汇总 (附带答案)
文章目录 选择题总结 (89个题) 第1章 大数据技术概述 (10个题) 第2章 Scala 语言基础 (20个题) 第3章 Spark的设计与运行原理 (10个题) 第4章 Spark环境搭建…… -
RDD编程基础
一、创建RDD 两种方式： 1.从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD，该方法把文件的URI作为参数，这个URI可以是…… -
Spark3 AQE之自动合并Shuffle partition源码解读
Branch：spark-3.0 有不对的地方欢迎各位大佬批评指正！ 相关参数： spark.sql.adaptive.enabled AQE是否开启 spark.sql.adaptive.coalescePartitions.enable…… -
大数据之Spark
Spark介绍 什么是Spark 专为大规模数据处理而设计的快速通用的计算引擎 类 Hadoop MapReduce 的通用并行计算框架 拥有 Hadoop MapReduce 所具有的优点 …… -
Hive表两列时间与当前时间的比较
在hive实际生成需求中，我们常常会碰到这样的问题，找出会员未到期的用户，那么，我们可以通过分别对用户会员开通时间、结束时间跟当前时间做比较，用户会员…… -
Scala中使用SOFA jraft 实现rpc的优化
背景 项目基于sofa jraft构建，顺便使用了其自带的rpc服务，协议使用protobuf，使用jraft创建一个rpc服务RaftRpcServerFactory.createRaftRpcServer(serverI……