包含标签：hdfs 的文章
-
【求解惑】org.apache.shuffle.FetchFailedException:Failed to connect to xxx:41972
报错的原因是因为某一天集群切换ups电源时，出现了断电。重启集群后写parquet文件就会出现不成功。 空文件和少量文件写parquet没毛病，都能写成功 大量数据……admin 2021-12-09
-
Hadoop笔记（伪分布事搭建）
HDFS是进行存储的，YARN是进行调度的 1.切换到hadoop下面的etc（配置文件都在etc下面） 2.在hadoop中配置core-site.xml Vi core-site.xml 指定HDFS中namenode…… -
【大数据计算】(四) Spark的安装和基础编程
文章目录 1. 使用Spark Sell编写代码 1.1启动Spark Shell 1.2 读取文件 1.3 编写词频统计程序 2. 编写Spark独立应用程序 2.1 用Scala语言编写Spark独…… -
hadoop环境搭建(四)
完全分布式部署 一、配置集群 100 101 102 HDFS namenode、 datanode datanode Secondary namenode(2nn)、datanode YARN nodeman…… -
Hadoop学习笔记（3）
一、Moba–Windows软件 Moba–windows软件，windows和linux传输文件要用的软件 1、打开moba创建新的连接服务 二、本地部署 1、在/opt 下创建两个文件夹：sof…… -
hdfs dfs -Linux 常用命令练习
1.先查看环境： [hadoop@hadoop001 ~]$ jps 22673 SecondaryNameNode 22502 DataNode 22396 NameNode 24397 Jps 2.命令练习： 2.1 查看目录 [hadoop@hadoop00…… -
Hadoop之HDFS
一.HDFS概述 1.1HDFS产生的背景定义 1）背景：随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的 操作系统管理的磁盘中，但是不方…… -
Hadoop集群搭建，14张过程截图超详细教程
? 作者 ：“大数据小禅” ? **文章简介 **：本篇文章主要讲解Hadoop集群的搭建，为了方便大家理解与操作，关键的步骤博主都进行了截图，减少小伙伴的出错概率…… -
【精】HDFS无需重启NN进行动态刷新拓扑信息
本文实现了一个HDFS的Feature：无需滚动重启Namenode即可实现动态加载机架信息，变更集群网络拓扑和机架感知信息。 本文会从功能必要性、实现原理、实现源码…… -
Hadoop全分布式的安装–hadoop-2.7.3
目录 一.安装准备 二：主节点安装hadoop 三.从节点安装hadoop 四.启动hadoop 五.验证安装 一.安装准备 1.需要三台虚拟机:主节点为hadoop001,从节点为hado……