• 1、背景
• 2、hdfs balancer和 hdfs disk balancer有何不同？
• 3、操作
  • 3.1 生成计划
  • 3.2 执行计划
  • 3.3 查询计划
  • 3.4 取消计划
• 4、和disk balancer相关的配置
• 5、额外知识点
  • 5.1 新的block存储到那个磁盘(卷)中
  • 5.2 磁盘数据密度度量标准
• 6、参考文档

1、背景

在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如：我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡呢？借助Hadoop提供的Diskbalancer命令行工具可以实现。

2、hdfs balancer和 hdfs disk balancer有何不同？

hdfs balancer：是为了集群中DataNode的数据均衡，即针对多个DataNode的。

hdfs disk balancer：是为了使单台DataNode中的多个磁盘中的数据均衡。

(资料图片)

注意：目前DiskBalancer不支持跨存储介质（SSD、DISK等）的数据转移，所以磁盘的均衡都是要求在一个storageType下的。因为hdfs中存在异构存储。

3、操作

3.1 生成计划

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -plan hadoop01 -out hadoop01-plan.json

-plan: 后面接的是主机名。-out: 指定计划文件的输出位置。

3.2 执行计划

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -execute hadoop01-plan.json

3.3 查询计划

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -query hadoop01

-query 后面跟的是 主机名

3.4 取消计划

[hadoopdeploy@hadoop01 ~]$ hdfs diskbalancer -cancel hadoop01-plan.json

4、和disk balancer相关的配置

5、额外知识点

5.1 新的block存储到那个磁盘(卷)中

当数据写入新的block时，DataNode会根据策略选择不同的磁盘来存储。

循环策略：默认策略，将新的块均匀的分布在可用的磁盘上，可能造成数据倾斜。

可用空间策略：选择更多可用空间(按百分比)的磁盘。可能造成在某段时间内，某个磁盘的IO压力变大。

5.2 磁盘数据密度度量标准

上图来自https://www.bilibili.com/video/BV11N411d7Zh/?p=81

6、参考文档

1、https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html2、https://help.aliyun.com/document_detail/467585.html3、https://www.bilibili.com/video/BV11N411d7Zh/?p=81