尊敬的用户，您还未登录，登录之后更精彩！

首页 » HDFS » 压缩hdfs文件java源码
HDFS Java

压缩hdfs文件java源码

hadoop2.7

源码来自网络，自己稍加修改；

  1. package com.hdfs;
  2. import java.io.IOException;
  3. import java.net.URI;
  4. import java.net.URISyntaxException;
  6. import javafx.scene.effect.Reflection;
  7. import org.apache.hadoop.conf.Configuration;
  8. import org.apache.hadoop.fs.FSDataInputStream;
  9. import org.apache.hadoop.fs.FSDataOutputStream;
  10. import org.apache.hadoop.fs.FileSystem;
  11. import org.apache.hadoop.fs.Path;
  12. import org.apache.hadoop.io.IOUtils;
  13. import org.apache.hadoop.io.compress.CompressionCodec;
  14. import org.apache.hadoop.io.compress.CompressionOutputStream;
  15. import org.apache.hadoop.util.ReflectionUtils;
  17. public class gzipHdfsFile {
  18.     static String hdfsFileDir = "";
  20.     public static void gzip(String codecClassName) throws Exception{
  21.         String gzipFileDir = hdfsFileDir.concat(".gz");
  22.         //压缩文件
  23.         Class<?> codecClass = Class.forName(codecClassName);
  24.         Configuration conf = new Configuration();
  25.         FileSystem fs = FileSystem.get(conf);
  26.         CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(codecClass,conf);
  28.         //指定压缩文件输出路径
  29.         FSDataOutputStream outputStream = fs.create(new Path(gzipFileDir));
  30.         //指定被压缩的文件路径
  31.         FSDataInputStream in = fs.open(new Path(hdfsFileDir));
  32.         //创建压缩输出流
  33.         CompressionOutputStream out = codec.createOutputStream(outputStream);
  34.         IOUtils.copyBytes(in, out, conf);
  35.         IOUtils.closeStream(in);
  36.         IOUtils.closeStream(out);
  38.     }
  39.     public static void main(String[] args) throws Exception {
  40.         //获取文件路径参数，生成输出路径参数
  41.         hdfsFileDir = args[0];
  42.         //执行文件压缩
  43.         gzip("org.apache.hadoop.io.compress.GzipCodec");
  44.     }
  45. }

压缩HDFS目录下的文件 利用java来进行

最后拷贝到hadoop集群上运行，运行命令

输入：文件名完整路径：/mahf/test.txt

输出：压缩后文件名完整路径：/mahf/test.txt.gz

hadoop jar gzipHdfsFile.jar 文件完整路径(包含文件名!)

例如：hadoop jar gzipHdfsFile.jar /mahf/test.txt

执行完生成文件：/mahf/test.txt.gz

莫问

我还没有学会写个人说明！

相关推荐

Hadoop Shell命令大全
HDFS 2018-01-19

Hadoop Shell命令大全

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路 …

暂无评论

分享到：

微信扫一扫,分享到朋友圈

压缩hdfs文件java源码