基于 Block Device 的分层存储方案

该方案完整地实现了以上提到的分层存储中所有的工作，包括虚拟化，IO 性能统计以及数据的迁移。

方案结构

该方案的结构包括一个 Linux 设备驱动程序和若干用户态的控制程序，如图 3 所示。 驱动程序实现存储设备的虚拟化，IO 性能监测统计以及数据的迁移； 用户态控制程序负责创建、删除虚拟设备，手动触发数据迁移，以及设置获取设备状态。 该方案由于 Storage Tiering 所有的功能都在 Linux 内核实现，且需要维护虚拟设备到物理设备的地址映射表，以及保证数据一致性，所以实现难度和工作量比较大，但可扩展性和灵活性也相对较大。

方案实现

该方案的实现主要包括以下内容：

1、管理设备的注册 管理设备主要用于与用户态程序的 IOCTL 交互，可以是一个字符设备或者 Misc 设备。Linux 下可以通过 register_chrdev 或 misc_register 注册，并实现所需要的 IOCTL 接口。

2、虚拟块设备的创建 用户态控制程序通过 IOCTL 向控制设备发起创建虚拟设备的请求，并传入所有的物理磁盘（DEV1，DEV2）的参数，如设备名，磁盘大小，虚拟磁盘的块大小等；驱动程序收到该请求后，进行必要的参数检查，然后调用 register_blkdev 创建一个新的块设备（VDEV）。并设置新设备的相关参数，如 IO 处理函数，队列大小，设备容量等。

3、虚拟设备地址与物理设备地址映射 虚拟设备地址到物理设备的地址映射表在虚拟设备创建是被初始化，并在数据迁移过程中被修改。 虚拟设备和物理设备都被分成固定大小的块，块大小可以固定或通过 IOCTL 由用户指定，但一旦确定，不能更改，一个 Block 是热度统计以及数据迁移的最小单位；每个 Block 包含若干个 sector（512 Byte）。 当 VDEV 收到一个 bio，可以由 bi_sector 和 bi_size 找出所对应的 VDEV 的 Block 以及 Block 内的偏移量，通过查询映射表，找到各个 VDEV Block 所对应的物理设备以及 Block，然后读取物理设备 Block 内的偏移量，如图 4 所示。 地址映射表以及其他的元数据需要存储在物理设备上，以便机器重启时能重构这个虚拟的块设备，且需要采取一定的备份策略，防止断电或磁盘损坏造成数据丢失。

4、IO 热度统计 IO 热度统计也以 Block 为基本单位，每个 Block 内的任何一个 sector 被访问，该 Block 的热度都为增加。由于大 IO 以及顺序 IO 在性能在传统硬盘和 SSD 上的差异并不是特别大，所以在进行热度统计是应该考虑排除大 IO 和顺序 IO。

5、数据迁移 可以采用自动方式或手动方式。自动方式由驱动内的定时器驱动，每隔一定的时间，启动数据迁移的扫描，将 IO 热度统计中的热数据向高性能存储设备迁移，冷数据向低性能存储设备迁移；手动方式由用户指定，将某块数据向高性能存储设备迁移或低性能设备迁移。手动数据迁移方式增加了更大的灵活性和可扩展性。

开源实现

BTier 基于 Block Device 的分层存储方案的开源实现。BTier 最大支持 16 个设备的虚拟化，这些设备被 BTier 简单地捆绑成一个 btier 块设备，因此，其中任何一个设备的失效，都会导致整个 btier 的失效。 编译并以模块形式安装 BTier 之后，会创建一个名为 tiercontrol 的字符设备； 然后使用 BTier 提供的 btier_setup 应用可以创建一个新的块设备 btiera，然后就可以对 btiera 设备进行所有块设备的读写操作，包括分区和创建文件系统。 BTier 还提供了丰富的 sysfs 接口，进行控制和信息获取，如数据迁移的开关，间隔时间，IO 统计信息等。 不过 BTier 每个 Tier 层仅支持 1 个物理设备，同层多个设备的虚拟化需要借助其他的方法，在虚拟化上面，BTier 还有可以改善的空间。

基于 LVM 的分层存储方案

Linux 的逻辑卷管理（LVM）提供了存储虚拟化，可以将多个物理卷（PV）建成一个卷组（VG），然后再在 VG 里创建虚拟卷（VG）。而且 LVM 提供了在不同物理卷之间迁移数据的 API。因此，基于 LVM 的分层存储方案借助 LVM 的虚拟化和数据迁移的能力，实现会更简单。

方案结构

该方案中，数据一致性的问题以及数据迁移时 IO 中断的问题都由 LVM 进行处理，重点在于如何分析并统计 IO 的热度信息，并且不涉及内核态的开发。该方案的结构如图所示。

方案实现

该方案的实现主要包括以下内容：

1、创建虚拟设备 使用 pvcreate 将所有的物理磁盘创建成物理卷（PV）；再使用 vgcreate 将所有的 VG 创建成一个卷组（VG）；最后使用 lvcreate 在创建出来的 VG 上建虚拟卷。

2、IO 热度统计 IO 热度统计可以使用 blktrace 工具，或者实现一个设备驱动来检测 IO 的热度。使用 blkparse 可以解析 blktrace 的输出，然后分析这些 IO 的分布以及读写频度，从而得到 IO 的热度统计信息。

4、数据迁移 根据 IO 的热度统计信息，使用 LVM 提供的 pvmove 工具，可以在属于同一个 VG 里的不同 PV 之间进行数据迁移，将热数据和冷数据分布存放在不同的物理卷上。

开源实现

LVMTS（LVM Tired Storage）是一个使用 SSD 和 HDD 来创建混合存储的方案，完全在用户态实现，主要由几个守护进程构成。 Lvmtscd 负责监测 blktrace 的输出并统计块设备的访问频度，并将这些统计信息记录在文件中； Lvmtsd 负责根据用户配置的信息，启动其他的守护进程，并完成数据迁移。 实际使用中发现，LVMTS 并不是太稳定，而且在 IO 分析统计上并不是太完善，可开发的空间仍然很大。

如上图所示，我们把存储的资源分成3层，包括内存、本地盘和共享存储。