包含标签：big data 的文章
-
大数据之 Flume 对 接 Kafka 完整使用 (第六章)
大数据之 Flume 对 接 Kafka 完整使用 一、Flume 对 接 Kafka 1）配置 flume(flume-kafka.conf) 2） 启动 kafkaIDEA 消费者 3） 进入 flume 根目录下，启……admin 2021-11-12
-
Spark（一）：基础
Spark 概述 什么是Spark Spark是一种基于内存的快速，通用，可扩展的大数据分析计算引擎 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析…… -
Kafka概述
Kafka概述 Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统。 Zookeeper在Kafka中扮演的角色，进行Ka…… -
2021SC@SDUSC hadoop源码分析（七）
2021SC@SDUSC 本篇我将对hadoop-tools中的Gridmix进行分析 GridMix 概念 GridMix是Hadoop集群的基准。它提交多种合成作业，对从生产负载中挖掘的概要进行建模…… -
Hadoop新增节点后HDFS数据均衡操作
前置设置: 数据均衡带宽优化 #参数说明：设置balance工具在运行中所能占用的带宽，需反复调试设置为合理值, 过大反而会造成MapReduce流程运行缓慢 #CDH集…… -
Hive分桶操作（Bucket）一图掌握核心内容
什么是分桶？： Hive基于hash值对数据进行分桶，按照分桶字段的hash值除以分桶的个数进行取余(bucket_id = column.hashcode % bucket.num)。 分桶的作用： …… -
西北工业大学软件学院大数据技术实验(一)
登录服务器并创建自己的虚拟机 学校服务器地址为：10.13.0.21~10.13.0.29，每一个IP对应着是不同配置的主机，在新建自己虚拟机之前应该先估算自己所需要多少…… -
【大数据笔记】- Hadoop Java kerberos认证
一.将kerberos相关认证文件放到项目目录下： xxxx.keytab，krb5.conf 二.pom.xml引入包： <dependency> <groupId>org.apa…… -
Hadoop学习_大数据核心概念
Hadoop Hadoop是Apache软件基金会旗下的一款Java开源软件框架，提供了大数据存储、计算的一套解决方案。 Hadoop HDFS 分布式文件系统：解决海量数据存储 H…… -
Kibana：如何在 Maps 应用中显示图片提示
Kibana 中的 Maps 给我们位置搜索及分析创建了许多的方便。在 Maps 应用中，有一个叫做 tooltip 的功能能。它可以帮我们在点击文档时显示文档的扼要信息。这……