包含标签:hdfs 的文章
-
启动hadoop后jps查看到没有data进程
如果data进程不存在,那就可能是因为name的格式化让datanode的clusterID 和 namenode的clusterID 不匹配,需要自己手动进入data修改配置,让两者的id一致。 …… -
HDFS Java API操作——《大数据技术原理与应用(第3版)》期末复习
目录 HDFS Java API操作 创建目录 显示目录列表 删除目录 判断文件存在 目录和文件判断 重命名文件 上传文件 文件移动 文件下载 HDFS Java API…… -
Hadoop入门篇
?Hadoop入门 ?? ?Hadoop入门 一、?环境准备 二、?Hadoop✧HDFS 1、 分布式文件系统架构 2、HDFS数据分类 ①、DataNode ②、NameNode ③、SencondaryN…… -
Hadoop学习笔记:CentOS 7平台上搭建Hadoop 3.3.1集群模式(3节点)
一、搭建过程 步骤: 1、准备安装环境 1、虚拟机装好CentOS 7系统,一共三个系统,分别命名为:node1、node2、node3 2、每个系统都卸载系统自带的openjdk …… -
-
Hadoop学习5-4:Hadoop3.x新特性——纠删码(擦除编码)
1 基本概念 2 纠删码操作 2.1 纠删码策略查看 2.2 纠删码策略设置 2.3 纠删码策略测试 1 基本概念 HDFS为擦除编码(EC)提供了支持,以更有…… -
MapReduce
MapReduce详解 MapReduce设计理念 map–>映射(key value) reduce–>归纳 mapreduce必须构建在hdfs之上一种大数据离线计算框架 在线:实时数据处理 …… -
-
hadoop伪分布式搭建笔记
1、切换到hadoop下面的etc(配置文件都在etc下面) 2、在hadoop中配置core-site.xml 3、在hadoop中配置hdfs-site.xml 4、格式化NameNode(第一次启动时格式…… -
hadoop环境搭建(2)
一.修改虚拟机的网络配置 打开虚拟机主页编辑 然后点击更改设置,选择NAT模式,打开NAT设置 二.修改windows的网络配置 crl+r进入到运行面板输入cmd 输入p……