包含标签：scala 的文章
-
大数据学习06 Scala的基础语法
大数据学习06 Scala的基础语法 介绍Scala的基础语法 文章目录 大数据学习06 Scala的基础语法 前言 一、注释 二、变量与常量 1.基本语法 2.代码实操 ……admin 2022-01-09
-
Flink(scala)整合MySQL统计UV(unique visitor)
数据源是尚硅谷的课件, 需要的话可以私信我 核心代码 import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.confi…… -
大数据应用技术期末复习 | Spark Scala版本 | 八个章节总共89个选择题汇总 (附带答案)
文章目录 选择题总结 (89个题) 第1章 大数据技术概述 (10个题) 第2章 Scala 语言基础 (20个题) 第3章 Spark的设计与运行原理 (10个题) 第4章 Spark环境搭建…… -
RDD编程基础
一、创建RDD 两种方式： 1.从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD，该方法把文件的URI作为参数，这个URI可以是…… -
Spark3 AQE之自动合并Shuffle partition源码解读
Branch：spark-3.0 有不对的地方欢迎各位大佬批评指正！ 相关参数： spark.sql.adaptive.enabled AQE是否开启 spark.sql.adaptive.coalescePartitions.enable…… -
大数据之Spark
Spark介绍 什么是Spark 专为大规模数据处理而设计的快速通用的计算引擎 类 Hadoop MapReduce 的通用并行计算框架 拥有 Hadoop MapReduce 所具有的优点 …… -
Hive表两列时间与当前时间的比较
在hive实际生成需求中，我们常常会碰到这样的问题，找出会员未到期的用户，那么，我们可以通过分别对用户会员开通时间、结束时间跟当前时间做比较，用户会员…… -
Scala中使用SOFA jraft 实现rpc的优化
背景 项目基于sofa jraft构建，顺便使用了其自带的rpc服务，协议使用protobuf，使用jraft创建一个rpc服务RaftRpcServerFactory.createRaftRpcServer(serverI…… -
sqoop导入和导出数据操作（保姆级教程）
导入： 一、将mysql数据库中的表数据导入到HDFS 表数据和格式如下： 1、首先先在hdfs中创建目录，用于导入后存放数据 hdfs dfs -mkdir /sqooptest hdfs dfs…… -
参考 Apache Spark 实现 Java 和 Scala 的 maven 混合编译
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和……