基于 ZFS 透明压缩技术的 Hadoop HDFS应用

2021-02-12 22:05 北京全速云科技

随着公司业务规模的不断增加，hadoop 集群接入的数据量不断增加。对集群的计算资源和存储资源都提出了更大的需求。相比之下，对存储资源的需求更加迫切。对集群数据进行合理的操作，能够节省集群的存储资源，提高存储资源利用率。

技术背景

Hadoop 是当前广泛采用的大数据处理平台，其对数据采用三备份方案，如下图所示：

这种三备份机制极大的提高了存储数据的冗余性，保障集群数据的安全。但是三备份措施也极大的提高了存储成本。以当前集群看，需要存储数据约 3.2PB，三备份后，至少需要 10PB 的存储空间。目前集群提供的总空间约 7PB，不能满足业务的存储需求。

目前提升集群存储能力可以从下述两个方面入手：

（1）集群数据治理

HDFS 作为数据存储平台，存放所有业务数据。使用比较频繁的业务数据，大都在 3 个月之内，是热数据；3 月以外的数据使用较少，为冷数据。对冷数据进行压缩、周期删除管理、迁移到廉价存储等是节省集群存储资源的有效手段。

（2）Hadoop 三备份策略优化

Hadoop 的三备份机制保障了数据的安全性，但是也带来了存储成本的增加。尤其对冷数据的三备份，造成了存储资源的浪费。在 hadoop3.0 版本中，引入了 EC 码的机制，利用纠删码的特性改造了三备份机制。使用 1.5 备份实现了三备份的功能，同样能够保障数据安全性。这会极大减少集群存储资源的使用。

当前 Hadoop3.0 仍然没有发布 release 版本，且版本升级对集群的影响比较大。因此更为现实的方案是采用数据治理。综合集群的情现实况，以及业务需求，我们优先选用对冷数据进行压缩的方式，来降低集群的磁盘存储占用。

当前比较成熟的压缩方案有两种：

（1）用户写入数据时压缩

此种方案成本较低，在客户端开启压缩即可。但是对于集群管理来说，带来了挑战。同时无法有效的区分集群中的冷热数据。

（2）后台透明压缩

后台透明压缩，通过 hadoop 本身的存储策略，以及 linux 特定存储系统实现。能够对前台用户透明的进行数据压缩，同时可以较好的定量冷热数据，方便集群管理控制。同时，方案技术难度相对更高。

基于集群自身情况，减少对上层用户的影响，决定选用后台zfs透明压缩的方案。透明压缩技术使用到了 HDFS 异构存和 ZFS 文件系统级压缩技术。

（1）HDFS 分层异构存储策略

HDFS 的分层异构存储是 hadoop2.6+中引入的新技术，支持将不同使用频度的数据放入不同的存储介质，以更合理的使用集群资源。如，冷数据放在磁盘或者介质密度更大的文件系统。热数据放在 SSD 等。异构存储使得一套 Hadoop 可以分类存储冷热数据。

在 hadoop 中，将存储类型分为 RAM_DISK,SSD,DISK,ARCHIVE 等几种类型，其存储速度顺次降低，存储成本也相应顺次降低。同时，hadoop 提供了针对不同存储介质的存储策略。

Lazy_Persist：基于内存的存储策略。将多备份中的一块放入内存，其余放在磁盘

All_SSD: 所有数据块均放在 SSD 中。

ONE_SSD:一块放入 SSD 中，其余放在磁盘中，这是对 All_SSD 的折中。

Hot：Hdfs 默认的存储策略，当前集群使用的也是此种策略。

Warm：一块放在磁盘，其余放入 ARCHIVE 高密度存储中。此种策略比较适合对仍有使用的冷数据。

Cold：所有数据块均放入 ARCHIVE 中，实现冷数据的高密度存储。但是在读取时，需要花费一定的时间。

当前集群使用的是默认 HOT 策略，即所有冷热块都放在 DISK 上。

（2）Linux ZFS 文件系统

ZFS 文件系统（的英文名称为 ZettabyteFileSystem）,也叫动态文件系统（DynamicFileSystem）,是第一个 128 位文件系统。最初是由 Sun 公司为 Solaris10 操作系统开发的文件系统。作为 OpenSolaris 开源计划的一部分，ZFS 于 2005 年 11 月发布，被 Sun 称为是终极文件系统，经历了 10 年的活跃开发，而最新的开发将全面开放，并重新命名为 OpenZFS。

ZFS 文件系统具有如下的特点：

存储池
Zfs 摒弃了传统的卷管理等复杂方式，用存储池的概念统一管理所有存储空间。

自我修复功能数据保护-软 raid
ZFS 文件系统通过 ZFS Mirror 和 RAID-Z，在读取文件时进行校验。如果有错误则向上层汇报并自动修复错误。
压缩与可变块大小
ZFS 支持压缩功能，能够在数据写入和读取时，进行压缩和解压缩操作。可变块大小则会在文件存储时，自动设置其块大小。
写时拷贝/校验和/快照
ARC（自适应内存缓存）与 L2ARC（SSD 做二级缓存）

设计方案与实现

基于 ZFS 的 Hadoop 透明压缩技术的 Hadoop 透明压缩的核心是利用 Hadoop 异构存储特性，将特定的数据写入到支持写入和读取压缩的文件系统中。以实现特定类型数据的透明压缩，透明解压缩。这其中的其关键部分是异构存储数据的快速界定，压缩文件系统的性能最优调整。

下图是该技术的主要实现流程：

首先，界定需要做冷热数据隔离的主要内容；其次，上图是 Hadoop 透明压缩的设计思路。生成特定的通过获取特定的冷数据列表，并标记其冷数据率；然后，定期从冷数据表中取出为完成冷数据迁移的行，进行移动。

在此过程中，我们做了如下的优化工作：

（1）Hadoop 冷热数据分离优化

1）异构存储策略选择

Hadoop 提供了多种存储策略。基于集群的实际情况。决定采用了 WARM 策略来存储冷数据。即利用 WARM 策略，一块备份仍存放于磁盘，其他两个备份被分块会被写入支持压缩的 ZFS 文件系统。这既较大程度的对冷数据进行了压缩，又在需要读取冷数据时，直接提供了一份未压缩数据进行读取。

2）HDFS 冷热数据移动优化

完成存储策略设定后，启动 hdfs mover，hadoop 会自动移动冷热数据到目的空间。但是此时会出现一个问题。默认情况下，Hadoop 会扫描所有 HDFS 数据块，以判定其是否处于合适的位置空间。这在集群规模较大时，该操作会耗费较多的时间。且每一次扫描，均会进行全块扫描。为了解决此问题，我们通过建立冷数据表来提高扫描效率。基于此种情况。我们做了一些优化：

1. 基于 hive 元数据，选择创建超过三月的分区目录，加入待移动列表。根据 hive 库信息/表/分区的形式，建立扫描空间，避免全集群扫描
2. 定期更新待移动列表中每个目录的完成率，对于完成率统计每个分区的移动率，对于移动率 100%的目录路径，不再进行扫描。
3. 定期取出完成率小于移动率不为 100%的目录。路径，形成一个移动数据文件。执行 hdfs mover –f path.txt 以此限定 mover 的扫描范围仅限在指定的路径中
采取上述措施后，极大的减少了每次 mover 扫描的数据量，大幅提升移动速度。

（2）ZFS 文件系统优化

1）ZFS 文件系统压缩效率

ZFS 文件系统本身内在支持多种压缩算法，数据写入时压缩，读取时解压。常用的压缩算法有 GZ，LZ4 等。合理选择压缩算法，有助于最大限度的提升透明压缩的效率。

1、 ZFS-gz，ZFS-lz4，ext4 下压缩效率及 CPU 占用。从下方表格可以看出，GZ 的压缩效率最好，CPU 占用也最高。

2、读取效率对比

由上图可知，zfs 文件系统下，gz 和 lz4 的读取和写入效率均高于 ext4 文件系统。gz 与 lz4 在读取，写入速度多上各有优劣。Lz4 稍微占优。

3、datanode 加载速度对比

DataNode 对压缩数据的加载时间，直接关系到访问此部分数据时的效率。

从上表可知,ZFS 的 gz 压缩在 DataNode 加载数据上对 LZ4 有部分优势。较为接近 EXT4。

综合考虑压缩率，读取、写入速度、datanode 加载速度等，选定 gz 作为 ZFS 文件系统的压缩算法。

3）关闭 atime

Atime 是一个文件或目录的最后访问时间，如果文件被频繁访问，那么 atime 就会被频繁更新。这会影响到磁盘的性能瓶颈，其影响范围会包含 ext4，zfs 等文件系统。关闭 atime 对 hadoop 磁盘性能提升较大。

4）DataNode 使用 Jbod 而不是 Raid

在 Hadoop 中，可以通过对磁盘 raid 来提升数据的安全性，在 namenode 节点，我们可以如此配置。保障 namenode 数据的安全。对于 DataNode，hadoop 的 Jbod 机制已经能够保障数据安全，对 datanode 使用 raid 会降低存储性能。在相关测试中，raid 相比 jbod 有 10%-30%的性能损失。

透明压缩成效

在 Hadoop 集群透明压缩上线后，集群的存储资源明显下降，以相对少的服务器，满足了当前线上业务对空间的需求，同时上线后，未对上层业务作出变动，实现了透明压缩。

（1）集群存储情况

当前集群存储数据逻辑占用约 3.1PB，依据 hadoop 的 3 备份原则，需要至少 9.3PB 的空间来存储这些数据。当前总空间约 7PB，远不能满足需求。在上线 Hadoop 的透明压缩后，目前存储空间以使用约 6PB，约占 85%。节省了月 3PB+的存储资源。以单台服务器 80TB 存储空间计算，节省了约 40 台服务器。数百万成本。

同时，在该项目上线的前三天，日均压缩数据 180TB，压缩比 22%。在上线前，集群数据急剧增加（3 天内）：

上线透明压缩后：

在数据量持续增加的情况下，实现了集群存储占用的不断下降。

（2）用户影响

透明压缩针对的是文件系统级的压缩，用户在使用时，完全无感知。实现了对用户的透明。