包含标签：hadoop 的文章
-
MapReduce
MapReduce详解 MapReduce设计理念 map–>映射(key value) reduce–>归纳 mapreduce必须构建在hdfs之上一种大数据离线计算框架 在线：实时数据处理 ……admin 2021-12-13
-
大数据运维—Linux安装hadoop Hadoop HA集群部署
1.Hadoop下载好之后解压到相应目录： 为了方便管理，我们使用mv把名称更改为hadoop [root@master ~]# tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/…… -
【hadoop】mysql安装
1、下载软件包：mysql-8.0.15-1.el7.x86_64.rpm-bundle.tar和mysql-connector-java-8.0.15.zip文件。 2、将软件包通过moba上传到linux系统。/usr/local/soft…… -
大数据基石之Hadoop的读写流程与2.X架构
Hadoop读写流程与2.X架构 安全模式 集群启动时的一个状态，处于安全模式的状态下，只向客户端提供文件的只读视图 HDFS的权限 HDFS对权限的控制 只能防…… -
Flume1.9.0配置
一、把安装包拉到/opt/software/下面 把apache-flume-1.9.0-bin.tar.gz的安装包拉到/opt/software/下面 二、解压 cd /usr/local/soft tar -zxvf apache-f…… -
Hadoop期末复习城科专用
Hadoop期末复习城科专用 根据老师给出的知识点范围整理，有的知识点太长了，就标了一部分黑色字体，把黑色字体记住答上也应该能得分，其余的方便记忆理清思…… -
Hive之从理论到实战（一）
文章目录 第一章 Hive基本概念 1.1 什么是Hive 1.1.1 Hive简介 1.1.2 Hive本质 1.1.3 和数据库的比较 第二章 Hive数据类型 2.1 基本数据类型 2.2…… -
Hadoop环境配置（9）–hive环境配置
1、将下载的hive压缩包拉到/opt/software/文件夹下 安装包版本：apache-hive-3.1.2-bin.tar.gz 2、将安装包解压到/opt/module/文件夹中，命令： cd /opt/sof…… -
【求解惑】org.apache.shuffle.FetchFailedException:Failed to connect to xxx:41972
报错的原因是因为某一天集群切换ups电源时，出现了断电。重启集群后写parquet文件就会出现不成功。 空文件和少量文件写parquet没毛病，都能写成功 大量数据…… -
Spark 术语与宽窄依赖
术语解释 窄依赖和宽依赖 RDD 之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。 1 .窄依赖:父 RDD 和子 RDD partition 之间的关系是一对一的。或……