搜索内容

包含标签:hdfs 的文章
  • 启动hadoop后jps查看到没有data进程
    云计算

    启动hadoop后jps查看到没有data进程

    如果data进程不存在,那就可能是因为name的格式化让datanode的clusterID 和 namenode的clusterID 不匹配,需要自己手动进入data修改配置,让两者的id一致。 ……
    admin 2021-12-27
  • HDFS Java API操作——《大数据技术原理与应用(第3版)》期末复习
    云计算

    HDFS Java API操作——《大数据技术原理与应用(第3版)》期末复习

    目录 HDFS Java API操作 创建目录 显示目录列表 删除目录 判断文件存在 目录和文件判断 重命名文件 上传文件 文件移动 文件下载 HDFS Java API……
    admin 2021-12-24
  • Hadoop入门篇
    云计算

    Hadoop入门篇

    ?Hadoop入门 ?? ?Hadoop入门 一、?环境准备 二、?Hadoop✧HDFS 1、 分布式文件系统架构 2、HDFS数据分类 ①、DataNode ②、NameNode ③、SencondaryN……
    admin 2021-12-22
  • Hadoop学习笔记:CentOS 7平台上搭建Hadoop 3.3.1集群模式(3节点)
    云计算

    Hadoop学习笔记:CentOS 7平台上搭建Hadoop 3.3.1集群模式(3节点)

    一、搭建过程 步骤: 1、准备安装环境 1、虚拟机装好CentOS 7系统,一共三个系统,分别命名为:node1、node2、node3 2、每个系统都卸载系统自带的openjdk ……
    admin 2021-12-20
  • 配置hadoop的免密登录
    云计算

    配置hadoop的免密登录

    今天在阿里云服务器上安装了hadoop,当我使用命令同时启动或者关闭多个节点时会提醒我输入密码,而我不知道密码是什么,感觉自己使用的话输入密码麻烦就想着……
    admin 2021-12-19
  • Hadoop学习5-4:Hadoop3.x新特性——纠删码(擦除编码)
    云计算

    Hadoop学习5-4:Hadoop3.x新特性——纠删码(擦除编码)

    1 基本概念 2 纠删码操作 2.1 纠删码策略查看 2.2 纠删码策略设置 2.3 纠删码策略测试 1 基本概念   HDFS为擦除编码(EC)提供了支持,以更有……
    admin 2021-12-18
  • MapReduce
    云计算

    MapReduce

    MapReduce详解 MapReduce设计理念 map–>映射(key value) reduce–>归纳 mapreduce必须构建在hdfs之上一种大数据离线计算框架 在线:实时数据处理 ……
    admin 2021-12-13
  • Hadoop期末复习城科专用
    云计算

    Hadoop期末复习城科专用

    Hadoop期末复习城科专用 根据老师给出的知识点范围整理,有的知识点太长了,就标了一部分黑色字体,把黑色字体记住答上也应该能得分,其余的方便记忆理清思……
    admin 2021-12-11
  • hadoop伪分布式搭建笔记
    云计算

    hadoop伪分布式搭建笔记

    1、切换到hadoop下面的etc(配置文件都在etc下面) 2、在hadoop中配置core-site.xml 3、在hadoop中配置hdfs-site.xml  4、格式化NameNode(第一次启动时格式……
    admin 2021-12-11
  • hadoop环境搭建(2)
    云计算

    hadoop环境搭建(2)

    一.修改虚拟机的网络配置 打开虚拟机主页编辑  然后点击更改设置,选择NAT模式,打开NAT设置  二.修改windows的网络配置 crl+r进入到运行面板输入cmd 输入p……
    admin 2021-12-10