Educoder 分布式文件系统HDFS 实验总结 答案

目录

一、HDFS的基本操作

1.HDFS的设计

2.HDFS的常用命令

二、HDFS-JAVA接口之读取文件

1.FileSystem对象

三、HDFS-JAVA接口之上传文件

四、HDFS-JAVA接口之删除文件


一、HDFS的基本操作

1.HDFS的设计

当数据集的大小超过一台独立的物理计算机的存储能力时,就有必要对他进行分区存储到若干台单独的计算机上,管理网络中跨多台计算机存储的文件系统称为分布式文件系统(Distributed FileSystem)。

Educoder 分布式文件系统HDFS 实验总结 答案

Hadoop自带一个称为HDFS的分布式文件系统,即(Hadoop Distributed FileSystem)。

NameNode与DataNode:

HDFS有两类节点来管理集群的数据,即一个namenode(管理节点)和多个datanode(工作节点)。namenode管理文件系统的命名空间,它维护着系统树及整棵树所有的文件和目录,这些信息以两个形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件,namenode也记录着每个文件中各个块所在的数据节点信息,但他并不永久保存块的位置信息,因为这些信息会在系统启动时根据节点信息重建。

客户端(client)代表用户通过与namenode和datanode交互来访问整个系统。客户端提供一个类似POSIX(可移植操作系统界面)的文件系统结构,因此用户编程时无需指导namenode和datanode也可以实现功能。

datanode是文件系统的工作节点,他们根据需要存储并检索数据块(blocks),并且定期向namenode发送他们所存储的数据块的列表。

 

我们现在将咱们的大数据机房设想成一个大仓库,仓库很大,有一本账单记录着仓库所有货架的商品,每一个货架上都放了很多货物,不过这些货物有一个特点,即大小都一致,并且货架也有一个本货架的清单,记录着本货架的商品,每当货架中的货物有变动,这个清单也会一起变,并且还会记录在主清单中。 在这里,namenode就类似仓库的主账单(保存了所有货物的记录),datanode就像是货架的清单(保存了本货架的物品记录),每个货架上的每一个货物就是数据块,数据块的大小是固定的(默认是128M)。

 

2.HDFS的常用命令

新建目录:

mkdir /develop
mkdir /develop/input
mkdir /develop/output

上传文件至HDFS:

touch helloworld.txt   #创建要上传的文件
#上传文件命令格式:hadoop fs -put <上传的文件> <hdfs目录>
hadoop fs -put helloworld.txt /usr/output

查看上传到hdfs的文件:

hadoop fs -cat /usr/output/helloworld.txt

移动与删除:

#列出hdfs中的目录和文件:
hadoop fs -ls /user/hadoop
hadoop fs -ls /
#移动
hadoop fs -mv /usr/output/helloworld.txt /
#删除
hadoop fs -rm /helloworld.txt
#递归删除
hadoop fs -rm -r /dir1  #hadoop fs -rmr /dir1  也可行

其他常用命令:

选项名称

使用格式

含义

-ls

-ls <路径>

查看指定路径的当前目录结构

-lsr

-lsr <路径>

递归查看指定路径的目录结构

-du

-du <路径>

统计目录下个文件大小

-dus

-dus <路径>

汇总统计目录下文件(夹)大小

-count

-count [-q] <路径>

统计文件(夹)数量

-mv

-mv <源路径> <目的路径>

移动

-cp

-cp <源路径> <目的路径>

复制

-rm

-rm [-skipTrash] <路径>

删除文件/空白文件夹

-rmr

-rmr [-skipTrash] <路径>

递归删除

-put

-put <多个 linux 上的文件> <hdfs 路径>

上传文件

-copyFromLocal

-copyFromLocal <多个 linux 上的文件><hdfs 路径>

从本地复制

-moveFromLocal

-moveFromLocal <多个 linux 上的文件><hdfs 路径>

从本地移动

-getmerge

-getmerge <源路径> <linux 路径>

合并到本地

-cat

-cat <hdfs 路径>

查看文件内容

-text

-text <hdfs 路径>

查看文件内容

-copyToLocal

-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路径] [linux 目的路径]

从HDFS复制到本地

-moveToLocal

-moveToLocal [-crc] <hdfs 源路径> <linux目的路径>

从HDFS移动到本地

-mkdir

-mkdir <hdfs 路径>

创建空白文件夹

-setrep

-setrep [-R] [-w] <副本数> <路径>

修改副本数量

-touchz

-touchz <文件路径>

创建空白文件

实验答案:

start-dfs.sh #启动hadoop
hadoop fs -mkdir /usr
hadoop fs -mkdir /usr/output
vim hello.txt #新建hello.txt后输入“HDFS的块比磁盘的块大,其目的是为了最小化寻址开销。”
hadoop fs -put hello.txt /usr/output
hadoop fs -rm -r /user/hadoop
hadoop fs -copyToLocal /usr/output/hello.txt /usr/local

二、HDFS-JAVA接口之读取文件

使用HDFS的Java接口进行文件的读写

 

1.FileSystem对象

假设在hdfs文件系统中存在/user/tmp/test.txt文件。然后我们编写读取该文件的代码:

public sattic void main(String[] args){
    //uri
    URI uri = URI.create("hdfs://localhost:9000/user/tmp/test.txt");
    Configuration config = new Configuration();
    //通过uri和config对象构建fs对象
    FileSystem fs = FileSystem.get(uri, config);
    InputStream in = null;
    try {
        //通过open方法获取FSDataInputStream对象
        in = fs.open(new Path(uri));
        //输出数据
        IOUtils.copyBytes(in, System.out, 2048, false);
    } catch (Exception e) {
        IOUtils.closeStream(in);
    }
}

实验要求:

使用FSDataInputStream获取HDFS的/user/hadoop/目录下的task.txt的文件内容,并输出,其中uri为hdfs://localhost:9000/user/hadoop/task.txt。

实验答案:

package step2;

import java.io.IOException;
import java.io.InputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;


public class FileSystemCat {
    
    public static void main(String[] args) throws IOException {
        //请在Begin-End之间添加你的代码,完成任务要求。
        /********* Begin *********/
        URI uri = URI.create("hdfs://localhost:9000/user/hadoop/task.txt");
        Configuration config = new Configuration();
        FileSystem fs = FileSystem.get(uri, config);
        InputStream in = null;
        try{
            in = fs.open(new Path(uri));
            IOUtils.copyBytes(in,System.out, 2048, false);
        }catch(Exception e){
            IOUtils.closeStream(in);
        }
        /********* End *********/
    }
}

注意:在点击“测评”之前要先切换到命令行界面,然后输入start-dfs.sh命令启动hadoop。

三、HDFS-JAVA接口之上传文件

实验要求:

  • 在/develop/input/目录下创建hello.txt文件,并输入如下数据: 迢迢牵牛星,皎皎河汉女。 纤纤擢素手,札札弄机杼。 终日不成章,泣涕零如雨。 河汉清且浅,相去复几许? 盈盈一水间,脉脉不得语。 《迢迢牵牛星》
  • 使用FSDataOutputStream对象将文件上传至HDFS的/user/tmp/目录下,并打印进度。

实验答案:

命令行命令:

start-dfs.sh
mkdir -p /develop/input
cd /develop/input
vim hello.txt #新建该文件后然后输入题目要求的这首诗。
hadoop fs -mkdir /user/tmp

FileSystemUpload.java:

package step3;


import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import java.io.File;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;


public class FileSystemUpload {
    
    public static void main(String[] args) throws IOException {
        //请在 Begin-End 之间添加代码,完成任务要求。
        /********* Begin *********/
        File localPath = new File("/develop/input/hello.txt");
        String hdfsPath = "hdfs://localhost:9000/user/tmp/hello.txt";
        InputStream in = new BufferedInputStream(new FileInputStream(localPath));
        Configuration config = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(hdfsPath),config);
        long fileSize = localPath.length() > 65535 ? localPath.length() / 65535 : 1;
        FSDataOutputStream out = fs.create(new Path(hdfsPath), new Progressable(){
            long fileCount = 0;
            public void progress(){
                System.out.println("总进度"+(fileCount / fileSize) * 100 + "%");
                fileCount++;
            }
        });
        
        IOUtils.copyBytes(in, out, 2048, true);
        
        /********* End *********/
    }
}

四、HDFS-JAVA接口之删除文件

HDFS的API中提供了listStatus()方法来实现目录遍历的功能。

使用FileSystem的delete()方法删除文件或目录。

public boolean delete(Path f,boolean recursive)throws IOException

如果f是一个文件或者空目录,那么recursive的值可忽略。而如果f是一个非空目录时,recursive设置为true时,该目录才能被删除,否则抛出异常。

实验要求:

在右侧代码区填充代码,实现如下功能:

  • 删除HDFS的/user/hadoop/目录(空目录);
  • 删除HDFS的/tmp/test/目录(非空目录);
  • 列出HDFS根目录下所有的文件和文件夹;
  • 列出HDFS下/tmp/的所有文件和文件夹。

实验答案:

命令行界面:

start-dfs.sh

FileSystemDelete.java:

package step4;


import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;



public class FileSystemDelete {
    
    public static void main(String[] args) throws IOException {
        //请在 Begin-End 之间添加代码,完成本关任务。
        /********* Begin *********/
        String uri = "hdfs://localhost:9000/";
        String path1 = "hdfs://localhost:9000/user/hadoop";
        String path2 = "hdfs://localhost:9000/tmp/test";
        Configuration config = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(uri),config);
        fs.delete(new Path(path1),true);
        fs.delete(new Path(path2),true);
        Path[] paths = {new Path(uri),new Path("hdfs://localhost:9000/tmp")};
        FileStatus[] status = fs.listStatus(paths);
        Path[] listPaths = FileUtil.stat2Paths(status);

        for(Path path : listPaths){
            System.out.println(path);
        }

        /********* End *********/
    }
}

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇

)">
下一篇>>