关于云平台虚拟机核心组件 libvirt 热迁移流程及关键参数介绍

编者按：libvirt 是用于管理虚拟机的开源项目，是各大基于 OpenStack 二次开发的云平台管理底层 qemu-kvm 虚拟机的核心组件，而热迁移作为虚拟机管理中较为常用的功能，其在稳定性和效率关乎云平台的整体使用体验。今天，浪潮数据云计算高级研发工程师李世东带大家了解虚拟机热迁移在 libvirt 项目中的主要流程及迁移参数作用和影响。本文整理自龙蜥大讲堂 81 期，以下为本次分享内容：

01 热迁移基本原理

1.1 热迁移概念

热迁移也叫在线迁移，是指虚拟机在开机状态下，且不影响虚拟机内部业务正常运行的情况下，从一台宿主机迁移到另外一台宿主机上的过程。

1.2 虚拟机数据传输预拷贝和后拷贝

预拷贝(pre-copy)：

原理：

1）将全部内存数据拷贝到目标节点。

2）循环的将源节点虚拟机运行时产生的内存脏页拷贝到目标节点虚拟机。

3）源节点虚拟机停机，启动目标节点虚拟机完成迁移。

优点：可靠性高，迁移过程中对业务影响小。

缺点：网络开销大，迁移时间长，内存读写频繁时可能迁移失败。

后拷贝(post-copy)：

原理：

1）将源节点虚拟机 CPU 状态、寄存器状态、non-pageable 内存页拷贝到目标节点。

2）启动目标节点虚拟机，动态地传输剩余内存。

3）目标节点虚拟机访问到未拷贝内存页时，触发 pagefault，需要到源节点读取对应 page。

优点：网络开销低、停机时间短。

缺点：迁移稳定性差，迁移过程中虚拟机性能下降，网络延迟高时，对业务影响大。

02 热迁移参数

下表列出了 libvirt 支持的迁移 flag、值及其具体含义：

flag	值	说明
VIR_MIGRATE_LIVE	1 << 0	在线迁移，迁移过程中不停机，注意如果内存改变速度持续大于传输速度，迁移过程无法收敛，在迁移过程中可以手动暂停（pause）虚拟机。
VIR_MIGRATE_PEER2PEER	1 << 1	迁移由源节点libvirt主导，直接与目标节点libvirtd建立连接并控制迁移过程。
VIR_MIGRATE_TUNNELLED	1 << 2	通过隧道传输迁移数据，只有当VIR_MIGRATE_PEER2PEER设置时才生效。
VIR_MIGRATE_PERSIST_DEST	1 << 3	迁移完成后，在目标节点持久化虚拟机。
VIR_MIGRATE_UNDEFINE_SOURCE	1 << 4	迁移成功完成后在源主机上删除虚拟机。
VIR_MIGRATE_PAUSED	1 << 5	在目标节点挂起虚拟机，必须显式调用resume虚拟机。
VIR_MIGRATE_NON_SHARED_DISK	1 << 6	迁移过程中全量拷贝非共享存储。
VIR_MIGRATE_NON_SHARED_INC	1 << 7	迁移过程中增量拷贝非共享存储。
VIR_MIGRATE_CHANGE_PROTECTION	1 << 8	迁移过程中改变对虚拟机的保护策略，当迁移双方都支持时，该参数被自动设置。如果显式指定该参数但其中一方不支持时，将导致迁移失败。
VIR_MIGRATE_UNSAFE	1 << 9	忽略潜在的数据损坏风险，对于QEMU虚拟机，当没有显式设置缓存模式为‘none’时，迁移被认为是不安全的。
VIR_MIGRATE_OFFLINE	1 << 10	在目标节点不启动虚拟机，同时在源节点不停止虚拟机，需要设置VIR_MIGRATE_PERSIST_DEST才能使该标志生效，该标志会导致disk storage和基于文件的存储不会被迁移。
VIR_MIGRATE_COMPRESSED	1 << 11	开启迁移数据压缩。
VIR_MIGRATE_ABORT_ON_ERROR	1 << 12	当发生错误时取消迁移。
VIR_MIGRATE_AUTO_CONVERGE	1 << 13	开启自动收敛，这意味着将使用一定的算法来降低虚拟机运行速度来使内存数据强制收敛。
VIR_MIGRATE_RDMA_PIN_ALL	1 << 14	当迁移URI以‘rdma://'开头时，可以开启该标志，这意味着迁移开始前将锁定所有虚拟机内存页到主机物理内存，不允许虚拟机内存页放到交换分区（swap）。对于QEMU/KVM虚拟机，需要在xml中设置hard_limit限制虚拟机使用的最大内存，而且需要设置虚拟机配置的最大内存加上QEMU进程自身占用的内存的限制，当内存使用限制设置过高时，该参数将可能导致锁定大部分的物理内存，最终可能导致OOM。
VIR_MIGRATE_POSTCOPY	1 << 15	后拷贝模式。
VIR_MIGRATE_TLS	1 << 16	设置该标志意味着将尝试使用TLS加密数据传输，当源节点和目标节点任意一方不满足TSL配置时，将导致迁移失败。
VIR_MIGRATE_PARALLEL	1 << 17	使用多个网络连接同时进行内存数据的拷贝。