Java API在HDFS上实现文件的上传、下载到本地、创建文件夹、删除文件和重命名文件

admin • 2022-01-05 09:38 • 云计算

前期准备：

一、前期准备

（1）Hadoop集群已配置完毕

（2）linux系统安装jdk

（3）在linux系统中安装并破解IntelliJ IDEA

二、通过JAVA API接口操纵HDFS

1.在IDEA中创建maven项目

2.设置配置文件

（1）修改pom.xml文件导入依赖如下，刷新，自动安装hdfs所需包

（2）在hdfs项目的src->main->resources路径下创建log4j2.xml日志文件，添加内容如下

3.在hdfs项目的src->main->java路径下创建com.min.hadoop包，然后在com.min.hadoop包下创建HdfsUtil.java、test.java实现hdfs的文件操作，项目目录结构如下图

4.HdfsUtil.java文件实现了hdfs文件的上传、下载、删除、创建以及重命名操作，源代码如下

package com.min.hadoop;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
public class HdfsUtil {
    private FileSystem fs;
    HdfsUtil(String user){
        Configuration cfg = new Configuration();
        URI uri = null;
        try {
            uri = new URI("hdfs://Hadoop1:9000");
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }
        try {
            // 根据配置文件，实例化成DistributedFileSystem
            fs = FileSystem.get(uri, cfg, user); // 得到fs句柄
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
    /**
     * 上传文件
     */
    public void upload(String src, String dst){
        try {
            // 上传
            fs.copyFromLocalFile(new Path(src), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    /**
     * 下载文件
     */
    public void download(String src, String dst){
        try {
            // 下载
            fs.copyToLocalFile(new Path(src), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    /**
     * 创建文件夹
     */
    public void mkdir(String dir){
        try {
            fs.mkdirs(new Path(dir));
        } catch (IOException e) {
            // 创建目录
            e.printStackTrace();
        }
    }
    /**
     * 删除文件
     */
    public void delete(String name, boolean recursive){
        try {
            fs.delete(new Path(name), recursive);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    /**
     * 重命名
     */
    public void rename(String source, String dst){
        try {
            fs.rename(new Path(source), new Path(dst));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

5.test1.java文件创建主函数向hdfs上传文件1.txt

（1）上传文件代码