在
centos
上配置和使用hdfs压缩格式时，可以选择多种压缩算法，每种算法都有其特定的应用场景和性能特点。以下是一些常用的压缩格式及其特点：
常用压缩格式及其特点
Gzip
：
优点
：压缩率高，压缩/解压速度较快，适用于文本文件，如日志文件和报表。Hadoop本身支持，大多数Linux系统自带gzip命令，使用方便。
缺点
：不支持分片。
适用场景
：适用于每个文件压缩后大小在130M以内的场景，如日志文件和小时级别的报表。
Snappy
：
优点
：高速压缩速度和合理的压缩率，适用于需要快速处理大数据的场景。
缺点
：不支持分片，压缩率比Gzip低。
适用场景
：适用于MapReduce作业的Map输出数据较大时，作为Map到Reduce的中间数据压缩格式。
LZO
：
优点
：压缩/解压速度较快，合理的压缩率，支持分片，是Hadoop中最流行的压缩格式。
缺点
：压缩率比Gzip低，Hadoop本身不支持，需要安装。
适用场景
：适用于大文本文件压缩后仍大于200M的情况，单个文件越大，LZO的优点越明显。
Bzip2
：
优点
：支持分片，具有很高的压缩率，比Gzip压缩率高。
缺点
：压缩/解压速度慢，不支持原生。
适用场景
：适用于对速度要求不高，但需要较高压缩率时，如MapReduce作业的输出格式，或者输出之后的数据比较大且需要压缩存档的情况。
Zstandard（Zstd）
：
CentOS Linux 7.9.2009
CentOS Linux 7.9.2009是传统CentOS Linux 7的最后主要版本，也是很多企业历史服务器中仍可能遇到的系统版本。它以稳定、兼容RHEL 7生态、文档丰富和软件支持广泛著称，曾长期用于Web服务、数据库、虚拟化节点和企业内部业务系统。不过CentOS Linux 7已于2024年6月30日停止维护，现在继续使用会面临安全补丁缺失风险。该版本更适合旧业务迁移、历史环境恢复或离线兼容性测试。
下载
优点
：压缩速度快，提供多种压缩级别，适应性广。
缺点
：信息不足，需要进一步的资料来确定其优缺点和应用场景。
适用场景
：追求速度的场景，如实时应用场景。
配置HDFS使用压缩格式
要在HDFS中配置压缩格式，需要在Hadoop的配置文件hdfs-site.xml中添加相应的配置参数。例如，要启用Snappy压缩，可以添加以下配置：
在HDFS中创建表时，也可以通过STORED AS子句指定压缩格式和算法。例如，创建一个使用Snappy压缩的表：
总之，选择合适的压缩格式需要考虑文件大小、使用场景、系统资源等因素。例如，对于大文件，优先考虑压缩比高且解压速度快的算法，如Bzip2、LZ4或Zstd。如果需要快速处理数据，Snappy和LZ4是更好的选择。对于文本文件，Gzip可能更合适。
io.compression.codecs org.apache.hadoop.io.compress.SnappyCodec CREATE TABLE example_table (
id INT,
name STRING,
content STRING
)
STORED AS TEXTFILE
TBLPROPERTIES (
'compression' = 'SNAPPY'
);