在线精品99_中国九九盗摄偷拍偷看_91免费版在线观看_91.app_91高清视频在线_99热最新网站

java如何将hdfs文件下载到本地

107次阅读
没有评论

共计 1245 个字符,预计需要花费 4 分钟才能阅读完成。

可以使用 FileSystem 类和 FSDataInputStream 类来实现将 HDFS 文件下载到本地。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;

public class DownloadHDFSFile {public static void main(String[] args) {try {Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:8020");
            FileSystem fs = FileSystem.get(conf);

            Path hdfsFilePath = new Path("/path/to/hdfs/file");
            Path localFilePath = new Path("/path/to/local/file");

            FSDataInputStream in = fs.open(hdfsFilePath);
            FSDataOutputStream out = new FSDataOutputStream(new FileOutputStream(localFilePath), null);

            byte[] buffer = new byte[1024];
            int bytesRead;
            while ((bytesRead = in.read(buffer)) > 0) {out.write(buffer, 0, bytesRead);
            }

            in.close();
            out.close();
            fs.close();

            System.out.println("HDFS file downloaded successfully.");
        } catch (Exception e) {e.printStackTrace();
        }
    }
}

在上面的代码中,首先创建了一个 Configuration 对象,设置了 HDFS 的配置信息。然后通过 FileSystem.get(conf) 方法获取一个 FileSystem 对象,用来操作 HDFS 文件系统。

接着指定需要下载的 HDFS 文件的路径 hdfsFilePath 和本地文件的路径 localFilePath。使用fs.open(hdfsFilePath) 方法打开 HDFS 文件,并创建一个 FSDataOutputStream 对象来写入本地文件。

然后使用一个循环读取 HDFS 文件的内容,并写入本地文件,直到文件读取完毕。最后关闭输入流、输出流和文件系统对象,完成文件下载操作。

请注意,需要在项目中引入 Hadoop 的相关依赖包,以便能够正常编译和运行上面的代码。

丸趣 TV 网 – 提供最优质的资源集合!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2024-04-07发表,共计1245字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)
主站蜘蛛池模板: 亚洲欧美综合区自拍另类 | 老女人性| 亚洲高清在线 | 国产精品视频在这里有精品 | 午夜电影网va内射 | 医院人妻闷声隔着帘子被中出 | 久久久久久久成人午夜精品福利 | 亚洲天堂中文 | 高清不卡毛片 | 丰满人妻av无码一区二区三区 | 亚洲综合图片区 | 最新亚洲精品国自产在线 | 亚洲国产成人最新精品资源 | 亚洲国产成人久久一区久久 | 精品人妻潮喷久久久又裸又黄 | 亚洲av永久无码天堂网小说区 | 久久精品二区 | 亚洲精品人成网在线播放蜜芽 | 1024你懂的国产日韩欧美 | 国产69精品久久久久app下载 | 情人伊人久久综合亚洲 | xxxx69欧美| 精品一区二区影院在线 | 免费无码精品黄av电影 | 欧美日韩亚洲国产精品一区二区 | www.日本在线观看 | 国产国语一级a毛片高清视频 | 欧美三区在线观看 | 欧美激情高清免费不卡 | 亚洲国产成人无码av在线播放 | 中文成人在线视频 | 天天做人人爱夜夜爽2020毛片 | 无码夜色一区二区三区 | 欧洲熟妇色xxxx欧美老妇多毛 | 欧美交换国产一区内射 | 在线免费看一级片 | 福利久久 | 久99久无码精品视频免费播放 | 亚洲色图吧 | 国产午夜精华无码网站 | 玩50岁四川熟女大白屁股直播 |