包含标签:实时大数据 的文章
-
MapReduce
MapReduce详解 MapReduce设计理念 map–>映射(key value) reduce–>归纳 mapreduce必须构建在hdfs之上一种大数据离线计算框架 在线:实时数据处理 …… -
大数据之分布式数据库HBase
HBase HBase介绍 简介 是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统 利用Zookeeper作为其分布式…… -
大数据之Spark
Spark介绍 什么是Spark 专为大规模数据处理而设计的快速通用的计算引擎 类 Hadoop MapReduce 的通用并行计算框架 拥有 Hadoop MapReduce 所具有的优点 …… -
大数据之Kafka看这一篇就够了
Kafka 异步通信原理 观察者模式 观察者模式(Observer),又叫发布-订阅模式(Publish/Subscribe) 定义对象间一种一对多的依赖关系,使得每当一个对象改…… -
大数据基石之Hadoop的读写流程与2.X架构
Hadoop读写流程与2.X架构 安全模式 集群启动时的一个状态,处于安全模式的状态下,只向客户端提供文件的只读视图 HDFS的权限 HDFS对权限的控制 只能防…… -
【玩转Kafka】海量日志收集实战之架构介绍与日志输出
海量日志收集实战 话不多说,看架构图: 最左侧,是Beats,它主要是用于收集日志的,比如这个Filebeat它的底层是用erlang语言写的,性能非常好,其实我们的…… -
《大数据技术原理与应用》第一章-大数据概述
大数据概述 1.1 大数据时代 00 简要介绍 01 时代背景的支撑 1.2 大数据的概念和影响 00 大数据的 `4V ` 特性⭐ 01 大数据的影响 1.3 大数据的应用 …… -
flink运行架构详解
一、开发模式 per-job-cluster 提交模式 1.一个Job会对应一个Flink集群,每提交一个作业会根据自身的情况,都会单独向yarn申请资源,直到作业执行完成,一……