[virtio]（四）：通知机制、eventfd 与中断注入

第三篇讨论了 virtqueue。本篇继续补上另一半virtqueue 只是共享内存guest 和 QEMU 如何知道对方有新请求或完成事件这就是 notification、eventfd、irqfd 和中断注入要解决的问题。1. 为什么 virtqueue 还需要通知virtqueue 解决的是数据放在哪里。Guest driver 把 descriptor 写到 guest memoryQEMU 或 backend 从 guest memory 读取 descriptor。但共享内存本身不会告诉对方“我写好了”。所以 virtio 还需要通知机制Guest - Host: 我提交了新的 descriptor请处理。 Host - Guest: 我完成了请求请回收。没有通知双方只能不断轮询 queue index。轮询可以降低延迟但会消耗 CPU中断和 eventfd 可以减少空转但有唤醒和注入成本。virtio 性能优化很大一部分就是在通知次数、批量处理和延迟之间做平衡。2. 基本通知路径一次普通请求的通知路径可以写成Guest submits descriptors | | kick v QEMU / backend wakes up | | process virtqueue v write used ring | | interrupt / notify v Guest driver handles completion这里有两个方向kick: guest 通知 device 有新请求 interrupt: device 通知 guest 请求完成不同 transport 和不同加速路径会影响这两个方向的实现。3. guest 如何 kick QEMU在 virtio-mmio 中guest 通常通过写 MMIO notify register 来通知 device。在 virtio-pci 中guest 可能通过 PCI BAR 中的 queue notify 区域通知 device。抽象模型Guest driver updates avail ring | v Guest writes notify register | v VM exit or ioeventfd path | v QEMU / backend receives kick如果没有加速每次 notify register 写入可能导致 VM exit 到 QEMU由 QEMU 处理这次 kick。为了减少这类高频 exitQEMU/KVM 可以使用 ioeventfd。4. eventfd 的直觉eventfd 是 Linux 提供的一种轻量事件通知机制。在 QEMU/KVM/virtio 路径中可以把 eventfd 理解成一个“可被内核和用户态共同使用的事件计数器”。对于 guest - host kickQEMU 可以把某个 MMIO/PIO 写通知注册给 KVM。当 guest 写对应 notify 地址时KVM 不必返回 QEMU 处理完整 MMIO exit而是直接 signal 一个 eventfd。简化模型Guest writes virtqueue notify | v KVM detects registered ioeventfd | v signal eventfd | v QEMU or vhost backend wakes and handles queue这减少了传统 MMIO exit 的开销。5. QEMU 如何 interrupt guest请求完成后QEMU 或 backend 需要通知 guest。最基本的路径是QEMU writes used ring | v QEMU raises virtio interrupt | v KVM injects virtual interrupt | v Guest interrupt handler runs对于 virtio-mmio设备中断通常接到虚拟中断控制器。对于 virtio-pci可能使用 MSI/MSI-X。在 KVM 加速场景中irqfd 可以进一步减少用户态参与。6. irqfd 的直觉irqfd 解决的是 host - guest interrupt 的快速注入问题。QEMU 可以把一个 eventfd 绑定到某个 guest interrupt。当 backend signal 这个 eventfd 时KVM 可以直接向 guest 注入对应中断而不是让 QEMU 先醒来再调用中断注入接口。简化模型backend completes request | v signal call eventfd | v KVM irqfd path | v inject virtual interrupt | v Guest sees completion interrupt这在 vhost 场景尤其重要。因为数据面已经下沉到 kernel 或独立 backend如果每次 completion 都必须回 QEMU 注入中断会削弱 vhost 的意义。7. kick eventfd 与 call eventfdvirtio/vhost 路径里经常会看到两类 eventfdkick eventfd: guest 通知 backendavail ring 有新请求 call eventfd: backend 通知 guestused ring 有新完成可以画成Guest driver | | kick eventfd v backend processes virtqueue | | call eventfd v Guest interruptQEMU 负责创建、配置和传递这些 eventfd。vhost backend 使用它们实现高效通知。8. notification suppression并不是每次提交 descriptor 都必须通知。也不是每次完成请求都必须中断 guest。virtio 支持 notification suppression 相关机制用来减少通知次数。例如 guest 可以告诉 device暂时不要每完成一个请求就中断我。 我稍后会批量检查 used ring。device 也可以根据 queue 状态决定是否需要通知 guest。这类机制的目标是减少VM exiteventfd signalinterrupt injectionguest interrupt handler 开销host/guest 上下文切换代价是 completion latency 可能上升。所以高吞吐场景倾向于批量化高低延迟场景则要更谨慎。9. QEMU 主循环与 virtqueue 处理在基础 QEMU device model 路径中kick 到来后QEMU 通常会在自己的事件循环或 bottom half 中处理 virtqueue。简化模型event arrives | v QEMU main loop wakes | v schedule virtio device handler | v process available descriptors | v complete requests and notify guest这说明 QEMU device model 的性能不只取决于 virtqueue 本身也取决于 QEMU event loop、backend I/O 和通知策略。10. vhost 场景下的通知路径使用 vhost 后通知路径会变成Guest driver | | kick eventfd v vhost backend | | process vring directly v call eventfd / irqfd | v Guest interruptQEMU 在这里主要做控制面设置 guest memory table设置 vring address设置 kick/call eventfd启动或停止 vhost backend管理 feature 和 migration高频数据面不再每次经过 QEMU 主循环。11. 通知路径中的性能权衡virtio notification 的核心权衡是通知太频繁: 低延迟但 exit / eventfd / interrupt 开销高 通知太少: 吞吐可能高但 completion latency 变大优化手段包括batch descriptor processinginterrupt coalescingnotification suppressionioeventfdirqfdvhostmultiqueuepolling不同 workload 目标不同。数据库、网络转发、块 I/O、低延迟 RPC对通知策略的需求并不一样。12. 源码阅读入口本篇可以看hw/virtio/virtio.chw/virtio/virtio-mmio.chw/virtio/virtio-pci.chw/virtio/vhost.chw/virtio/vhost-user.cinclude/hw/virtio/virtio.hinclude/hw/virtio/vhost.h阅读问题guest notify 最终调用到哪里VirtQueue的 handler 在哪里被触发used ring 写回后如何决定是否通知 guesteventfd 在哪里创建和绑定irqfd 在哪里接入 KVMvhost 的 kick/call fd 如何配置13. 本篇小结virtqueue 只是共享内存结构notification 负责让双方知道“该看队列了”。Guest 通过 kick 通知 host 有新 descriptorQEMU 或 backend 完成请求后通过 used ring 和 interrupt 通知 guest。eventfd、ioeventfd 和 irqfd 的作用是减少高频通知路径上的用户态往返和不必要 VM exit。可以把本篇压缩成一句话virtio 的数据在 virtqueue 里流动时机由 notification 驱动eventfd 和 irqfd 则把这些通知尽量变成轻量、可批量、可下沉的数据面事件。14. 下一篇预告virtio-mmio 与 virtio-pci transport下一篇讨论 transport。会回答virtio 协议和 transport 的区别是什么RISC-Vvirtmachine 为什么常见 virtio-mmiovirtio-pci 如何暴露设备transport 如何连接 guest driver 和VirtIODevice下一篇的问题可以写成同样是 virtio 设备guest 到底是通过什么“总线外观”发现和配置它的