搜索内容

包含标签:spark 的文章
  • Spark与AWS:云计算中的Spark
    云计算

    Spark与AWS:云计算中的Spark

    1.背景介绍 在当今的大数据时代,数据处理和分析的需求日益增长。Apache Spark作为一个开源的大数据处理框架,因其出色的处理速度和易用性,已经成为大数据……
    admin 2024-02-07
  • 【Spark系列2】Spark编程模型RDD
    物联网

    【Spark系列2】Spark编程模型RDD

    RDD概述 RDD最初的概述来源于一片论文-伯克利实验室的Resilient Distributed Datasets:A Fault-Tolerant Abstraction for In-Memory Cluster Computing。这……
    admin 2024-02-02
  • 数据仓库 基本信息
    研发管理

    数据仓库 基本信息

    数据仓库基本理论 数据仓库(英语:Data Warehouse,简称数仓、DW),是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境……
    admin 2023-12-31
  • Spark与Hadoop的关系和区别
    5G

    Spark与Hadoop的关系和区别

    在大数据领域,Spark和Hadoop是两个备受欢迎的分布式数据处理框架,它们在处理大规模数据时都具有重要作用。本文将深入探讨Spark与Hadoop之间的关系和区别,……
    admin 2023-12-30
  • 【Spark源码分析】Spark的RPC通信一-初稿
    5G

    【Spark源码分析】Spark的RPC通信一-初稿

    Spark的RPC通信一-初稿 文章目录 Spark的RPC通信一-初稿 Spark的RPC顶层设计 核心类`NettyRpcEnv` 核心类`RpcEndpoint` 核心类`RpcEndpointRef` Sp……
    admin 2023-12-25
  • 利用PySpark进行商业洞察与可视化
    5G

    利用PySpark进行商业洞察与可视化

    利用PySpark进行商业洞察与可视化 引言 数据集与技术栈 数据集:YELP数据集 技术栈:Flask、MySQL、Echarts、PySpark 分析维度与功能 创新点与应用 ……
    admin 2023-12-25
  • 【大数据处理框架】Spark大数据处理框架,包括其底层原理、架构、编程模型、生态圈
    架构

    【大数据处理框架】Spark大数据处理框架,包括其底层原理、架构、编程模型、生态圈

    文章目录 Spark框架的底层原理 Spark框架的架构 Spark Core Spark SQL Spark Streaming Spark MLlib Spark GraphX Spark框架采用的编程模型 Spark生……
    admin 2023-12-04
  • Java操作MongoDB报错 java.lang.IllegalStateException: state should be: open
    物联网

    Java操作MongoDB报错 java.lang.IllegalStateException: state should be: open

    问题描述 我在使用Spark整合MongoDB,涉及到了MongoDB Colletion中的文档删除与新建(也就是更新文档)时,出现了报错java.lang.IllegalStateException: st……
    admin 2023-11-22
  • 大数据学习(22)-spark
    研发管理

    大数据学习(22)-spark

    &&大数据学习&& 🔥系列专栏: 👑哲学语录: 承认自己的无知,乃是开启智慧的大门 💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一……
    admin 2023-11-20
  • Spark资源规划-资源上线评估
    5G

    Spark资源规划-资源上线评估

    1、总体原则 以单台服务器 128G 内存,32 线程为例。 先设定单个 Executor 核数,根据 Yarn 配置得出每个节点最多的 Executor 数量,每个节点的 yarn 内存/……
    admin 2023-11-18