搜索内容

包含标签:scala 的文章
  • Spark列级血缘(字段级别血缘)开发与实现
    云计算

    Spark列级血缘(字段级别血缘)开发与实现

    介绍 背景 由于一直苦于尝试追踪spark的列级血缘,所以出于个人目的对spark源代码进行了修改,并且在github上独立了一个项目(Ushas)。 传统数据治理中针……
    admin 2022-01-13
  • 编译kafka3.0.0和2.8.0源代码
    云计算

    编译kafka3.0.0和2.8.0源代码

    编译kafka3.0.0和2.8.0源代码 这个过程历时5天期间遇到了无数的坑点,特此记录 版本和环境 ide: idea2021 系统:windows10 kafka版本:最初我想在本地运……
    admin 2022-01-10
  • 大数据学习06 Scala的基础语法
    云计算

    大数据学习06 Scala的基础语法

    大数据学习06 Scala的基础语法 介绍Scala的基础语法 文章目录 大数据学习06 Scala的基础语法 前言 一、注释 二、变量与常量 1.基本语法 2.代码实操 ……
    admin 2022-01-09
  • Flink(scala)整合MySQL统计UV(unique visitor)
    数据库

    Flink(scala)整合MySQL统计UV(unique visitor)

    数据源是尚硅谷的课件, 需要的话可以私信我 核心代码 import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.confi……
    admin 2022-01-05
  • 大数据应用技术期末复习 | Spark Scala版本 | 八个章节总共89个选择题汇总 (附带答案)
    云计算

    大数据应用技术期末复习 | Spark Scala版本 | 八个章节总共89个选择题汇总 (附带答案)

    文章目录 选择题总结 (89个题) 第1章 大数据技术概述 (10个题) 第2章 Scala 语言基础 (20个题) 第3章 Spark的设计与运行原理 (10个题) 第4章 Spark环境搭建……
    admin 2022-01-04
  • RDD编程基础
    云计算

    RDD编程基础

    一、创建RDD 两种方式: 1.从文件系统中加载数据创建RDD Spark采用textFile()方法来从文件系统中加载数据创建RDD,该方法把文件的URI作为参数,这个URI可以是……
    admin 2021-12-17
  • Spark3 AQE之自动合并Shuffle partition源码解读
    云计算

    Spark3 AQE之自动合并Shuffle partition源码解读

    Branch:spark-3.0 有不对的地方欢迎各位大佬批评指正! 相关参数: spark.sql.adaptive.enabled AQE是否开启 spark.sql.adaptive.coalescePartitions.enable……
    admin 2021-12-17
  • 大数据之Spark
    云计算

    大数据之Spark

    Spark介绍 什么是Spark 专为大规模数据处理而设计的快速通用的计算引擎 类 Hadoop MapReduce 的通用并行计算框架 拥有 Hadoop MapReduce 所具有的优点 ……
    admin 2021-12-12
  • Hive表两列时间与当前时间的比较
    云计算

    Hive表两列时间与当前时间的比较

    在hive实际生成需求中,我们常常会碰到这样的问题,找出会员未到期的用户,那么,我们可以通过分别对用户会员开通时间、结束时间跟当前时间做比较,用户会员……
    admin 2021-12-09
  • Scala中使用SOFA jraft 实现rpc的优化
    架构

    Scala中使用SOFA jraft 实现rpc的优化

    背景 项目基于sofa jraft构建,顺便使用了其自带的rpc服务,协议使用protobuf,使用jraft创建一个rpc服务RaftRpcServerFactory.createRaftRpcServer(serverI……
    admin 2021-12-06