裸机直接在物理硬件上运行操作系统。 虚拟化通过管理程序运行来宾操作系统。 当额外的处理或资源限制影响应用程序响应时间、吞吐量或足以更改您的部署决策的容量时,管理程序税费很重要。 它不是适用于每台服务器的固定百分比。
较慢的虚拟机不会自动证明虚拟化导致了该问题。 不同的处理器、存储路径、CPU 限制或竞争的工作负载可以弥补大部分差距。
对于一个有用的裸机与虚拟化比较,我们需要回答三个问题:是什么减慢了应用程序的速度,我们能否纠正它,剩余的差异是否证明了改变架构的合理性?
概述:裸机与虚拟化
在这里,裸机部署意味着在物理服务器的操作系统上运行应用程序,而没有在该操作系统下方的管理程序。
| 决策因素 | 裸机部署 | 虚拟化部署 |
|---|---|---|
| 执行 | 应用程序和操作系统在物理硬件上运行 | 在 VM 中运行的应用程序和客户机操作系统 |
| CPU调度 | 操作系统计划应用程序 | 来宾和主机调度影响执行 |
| 记忆 | 操作系统管理物理内存 | 来宾内存映射到主机管理的资源 |
| 存储和网络 | 物理设备或外部服务 | 虚拟设备、分配的设备或外部服务 |
| 隔离 | 取决于服务器租赁和操作系统控制 | 具有主机控件的独立客户环境 |
| 操作 | 物理服务器和应用程序 | VM 生命周期功能,受平台支持的限制 |
| 性能评估 | 针对应用目标的措施 | 针对同一目标 |
虚拟化和共享租赁是单独的选择。 提供商可以将虚拟机放置在专用于一位客户的主机上。 您还可以租用裸机服务器并安装自己的虚拟机管理程序。
我们的 裸机服务器指南 解释底层托管模型。 本文重点介绍执行层的性能效果。
在测量之前定义管理程序税
管理程序创建和管理虚拟机。 每个 VM 运行一个客户机操作系统,而托管这些 VM 的物理系统是主机。
类型 1 虚拟机管理程序直接在硬件层运行。 类型 2 管理程序在主机操作系统中运行。 “裸金属管理程序”一词描述了 1 类虚拟化; 这并不意味着工作负载在没有虚拟化的情况下运行。
容器不同。 它们在共享主机内核时隔离进程,并且可以在物理服务器或虚拟机上运行。 移动到容器并不一定会从部署中移除虚拟机管理程序。
那个 管理程序税 是与虚拟化相关的额外资源工作的非正式名称。 它不是标准化的测量或软件许可费。
在将绩效差距分配给该税款之前,请将四种可能的原因分开:
- 虚拟化工作: 处理需要管理程序参与的虚拟设备、内存映射和事件。
- 资源争论: 几个工作负载竞争处理时间、内存带宽或 I/O。
- 架构差异: 不同的 CPU、磁盘、网络路径或资源限制。
- 配置差异: 不同的驱动程序、缓存、应用程序设置或操作系统行为。
现代虚拟化没有一种普遍的惩罚。 在一项已发表的 2021 年研究中,AWS 发现其评估的 HPC 工作负载的裸金属和硝基虚拟化实例之间的差异可以忽略不计。 该发现属于这些工作负载和测试条件,而不是每个 VM。 来源:AWS 性能比较.
CPU调度比指令执行更重要
硬件辅助虚拟化允许许多客户代码直接在处理器上执行。 管理程序参与某些操作和事件。 VM 出口将控制从来宾执行转移到管理程序; 它不会发生在每个普通指令或每个系统调用中。
对于买家来说,资源分配通常在处理器机制之前值得关注。 八个 vCPU 不自动等于八个物理核心。 询问服务如何将 vCPU 映射到硬件线程、CPU 时间是否被限制以及哪些资源保持共享。
应用程序还可以在正常运行的 VM 中耗尽处理能力。 忙碌的客人本身并不表示忙碌的主机。
在上下文中读取CPU窃取时间
在受支持的 Linux 客户机上,窃取时间有助于识别虚拟化环境对来宾执行预留的时间。 Linux 将计数器记录为非自愿等待。 它是一种调度信号,而不是每种形式的虚拟化开销的仪表。 Source: Linux CPU accounting documentation.
将其与应用程序延迟、CPU 使用和事件发生时间进行比较。 零报告的窃取时间不排除内存、存储、网络争用或报告限制。
一些平台通过主机监控暴露 CPU 就绪时间。 在将平台的定义和报告间隔与 Linux 窃取时间进行比较之前,请检查平台的定义和报告间隔。
内存放置和容量 更改结果
即使服务器的 CPU 容量未使用,也会出现内存问题。 单独的三个要求:足够的 RAM 来保存工作数据、足够的内存带宽和可接受的访问延迟。
虚拟机添加来宾到主机的内存映射。 内存放置在 NUMA 系统上也很重要,其中处理器可以比系统中其他地方的内存更直接地访问某些内存。
跨越多个内存区域的 VM 需要适当的 CPU 和内存放置。 大型 VM 可能需要多个 NUMA 节点; 将其强制到一个节点可以创建不同的约束。
在更改部署模型之前检查来宾和主机内存压力。 交换、大于预期的工作集或尺寸过小的数据库缓存可能会解释减速。
巨大的页面和位置更改可以帮助特定的工作负载,但它们需要测试。 Red Hat 的调优文档将内存、CPU 和 I/O 配置视为特定于工作负载的决策。 资料来源:红帽虚拟机性能指南.
存储和网络路径可以支配比较
比较具有相同耐用性要求的存储
在裸机上使用本地 NVMe 的数据库和另一个使用远程块存储的数据库正在测试不同的存储架构。 它们的延迟间隙不能完全分配给管理程序。
虚拟存储可以使用仿真设备、Virtio 等半虚拟化驱动程序或支持的设备分配。 支持存储、队列、缓存和应用程序行为都会影响结果。
匹配读/写模式和耐用性设置。 大的顺序读取告诉你一个等待小写入到达持久存储的数据库。
记录文件系统、写入缓存行为、刷新要求、加密和复制。 通过削弱持久性获得的更快结果不是等效的结果。
测量数据包处理以及带宽
网络连接可以提供高批量吞吐量,但与许多小数据包或频繁的新连接相抗衡。
对于 VPN、防火墙、代理和交付服务,测量数据包速率、丢弃、连接处理、应用延迟以及带宽。 虚拟交换和主机处理可能很重要,但远程端点和网络路由也是如此。
SR-IOV 向来宾公开设备功能,而 PCI 直通将设备分配给 VM。 这些选项可以更改 I/O 路径。 它们对迁移、共享和恢复的支持和影响取决于设备和平台。
直接设备访问仍然让应用程序的其余部分进行评估。
识别注意差异的工作负载
单独的工作负载名称并不能决定部署。 即使两者都使用相同的软件,一个轻量级的数据库和一个写重的交易系统也有不同的要求。
| 工作量 | 先测量 | 一个有用的决定问题 |
|---|---|---|
| 事务数据库 | 提交延迟、p99 响应时间、成功交易 | VM 是否以等效的耐用性满足目标? |
| 游戏服务器 | 刻度处理时间和错过的截止日期 | 调度延迟会影响高峰活动期间的游戏吗? |
| VPN、防火墙或代理 | 每秒数据包,丢弃,加密吞吐量 | 网络路径可以处理预期的数据包组合吗? |
| 流媒体和媒体 | 编码时间、丢帧、交付吞吐量 | 处理或网络交付是限制吗? |
| 人工智能推理 | 时间到第一个令牌,令牌速率,请求延迟 | 限制加速器访问、内存、批处理还是 CPU 工作? |
| 科学计算 | 工作时间和节点间通信 | 测试的部署延迟完成吗? |
| Web 应用程序和 CI | 响应目标、工作持续时间、可用容量 | 测量的差距是否超过了 VM 的运营优势? |
实际问题通常是繁忙时期的最慢请求。 一个好的平均值可以隐藏错过的截止日期、停滞的交易或不一致的帧交付。
使用可比较的测试来衡量管理程序税
首先决定是测试虚拟化层还是在两个托管产品之间进行选择。 这些是不同的实验。
在匹配的硬件上测试图层
为了进行受控比较,直接在物理操作系统上运行应用程序,然后在单独的测试中在同一硬件上的隔离 VM 中运行它。
为应用程序提供可比资源。 为主机处理保留容量,并记录这些预订。 保持软件、数据、安全设置和存储行为尽可能接近实用。
这估计了经过测试的虚拟化堆栈引入的差异。 它不会为每个管理程序或主机配置建立结果。
测试您将实际购买的服务
如果您要比较提供商优惠,请测试您可用的配置。 记录不同的 CPU、存储系统、分配和网络限制。
如果您无法控制这些差异,则将结果称为服务比较。 它仍然可以回答购买问题,但不能证明虚拟机管理程序造成了整个差距。
使用三个测试条件
| 条件 | 目的 |
|---|---|
| 直接部署基线 | 在没有测试的虚拟机管理程序层的情况下测量应用程序 |
| 孤立的虚拟机 | 估计与记录的虚拟资源的差异 |
| 具有受控竞争工作负载的 VM | 评估对竞争和资源限制的敏感性 |
仅在授权的测试主机上运行竞争的工作负载。 如果您无法控制提供商的主机,请在几个周期内重复测量并说明该限制。
保持方法可重现
记录硬件、固件、微码、内核、管理程序、驱动程序和应用程序版本。 然后保持这些条件一致:
- 数据集大小、请求组合和应用程序配置。
- CPU 分配、内存、存储持久性和网络目标。
- 预热时间、运行持续时间和提供的负载。
- 安全控制和后台任务。
使用单独的负载生成器并确认它可以产生请求的流量。 测量正常需求、预期峰值以及误差或响应时间变得不可接受的点。
记录提供的请求以及完成的请求。 每当服务器停转可能低估用户将经历的延迟时,会减慢其请求生成的速度。
从应用程序开始。 使用诸如此类的工具 系统台, 菲奥,以及 iperf3 之后调查疑似子系统。 对一次性测试数据进行磁盘测试。 批量网络吞吐量不测量应用程序响应时间。
重复运行并报告变化。 一项简短的测试是一项必须全天运行的服务的薄弱证据。
正确读取性能百分比
吞吐量损失和运行时增加使用不同的分母。
相对于裸机的吞吐量损失:
(裸金属吞吐量 - VM 吞吐量) ÷ 裸金属吞吐量 × 100
相对于裸机的运行时间增加:
(虚拟机运行时间 - 裸机运行时间) ÷ 裸金属运行时间 × 100
考虑一个假设的结果,即每秒 10,000 次完成的裸金属和 9,500 次虚拟机中的操作。 吞吐量损失为 5%。
对于这些恒定速率的相同固定量的工作量,VM 需要大约 5.26% 的时间。 两者都没有描述应用程序的尾延迟。
比较相同负载下的响应时间
P99 响应时间为 180 毫秒意味着 99% 的测量请求在 180 毫秒内完成。 剩余的请求需要更长的时间。
假设一个应用程序在其预期峰值需求时要求 P99 响应时间低于 200 毫秒。 180 毫秒过去的假设裸金属结果; 240 毫秒的 VM 结果失败。 即使他们的平均吞吐量看起来接近,这种差异也很重要。
在相同的负载下比较响应时间。 然后测量每个配置在保持相同的延迟和错误限制的同时可以承受多少工作量。
如果这两种选择都通过了足够的空间,那么小的基准差距可能几乎没有商业价值。 如果一个人错过了最后期限,请在批准之前调查原因。
在更换架构之前调整虚拟机
从测量值显示的极限开始。 一次更改多个设置使得确定哪些更改变得更困难。
| 观察到问题 | 调查或改变 | 权衡检查 |
|---|---|---|
| 调度延迟 | CPU上限,分配,主机负载,放置 | 保留容量和服务成本 |
| 记忆压力 | 工作集,内存分配,交换 | 可用的主机内存 |
| 记忆力不佳 | CPU 和内存放置 | 放置灵活性 |
| 缓慢的存储操作 | 驱动程序、队列、支持存储、缓存设置 | 耐用性和恢复性 |
| 数据包处理限制 | 虚拟网卡、队列、卸载、设备分配 | 设备和迁移支持 |
将来宾级更改与主机级更改分开。 VM 中的 root 访问权限不允许您控制主机上的物理 CPU 分配。
CPU pinning 设置 vCPU 可能执行的位置。 它本身不会从这些 CPU 中排除其他 VM 或主机进程。 libvirt 文档对 vCPU 放置、仿真器线程、I/O 线程和 CPU 配额的单独控件。 在将固定的虚拟机视为物理隔离之前,请检查完整的分配策略。 来源: libvirt CPU 调优参考.
在测试期间保持安全性和耐用性保护一致。 重大更改后,重新检查性能和恢复行为。
考虑虚拟化提供的好处
即使直接部署更快地完成特定测试,虚拟化也可以赚取其运营成本。
虚拟机可让团队将来宾操作系统分开、创建环境、整合工作负载以及使用受支持的迁移或快照功能。 这些功能可以减少部署工作并帮助组织维护。
好处取决于平台和设计。 VM 快照不是自动的独立备份。 一台物理主机上的多个虚拟机仍将该主机共享为故障点。 实时迁移需要支持的配置和合适的目标容量。
直接部署还具有运营成本:安装、更新、监控、更换程序和应用程序恢复。 移除管理程序不会移除操作系统调度程序或阻止应用程序相互竞争。
比较硬件或租赁费用、软件支持和许可证、员工时间、备份容量、恢复资源和迁移工作。 检查实际部署的当前许可条款,而不是假设任何一个模型的成本总是更低。
安全需要自己的审查。 无论是专用硬件还是虚拟机边界,都无法取代访问控制、修补、受保护的管理接口和经过测试的恢复。
选择使用服务目标和每项有用工作的成本
使用证据决定下一步:
| 测试结果或要求 | 实用的下一步 |
|---|---|
| 虚拟机通过正常、峰值和恢复目标 | 如果运营模式和完全适合成本,请保留它 |
| VM 因限制或配置而失败 | 更正问题或更改服务,然后重新测试 |
| 在匹配的测试中仍然存在物质差距 | 将直接部署与迁移和运营成本进行比较 |
| 所需的硬件功能不可用 | 评估支持的裸机或设备分配选项 |
| 应用层需要不同的资源 | 考虑单独的位置并包括层间网络成本 |
在所需的响应时间内计算每个完成工作或成功请求的成本。 包括空闲空间和恢复能力。
“在 70% CPU 上移动”等固定规则忽略了存储限制、截止日期要求和 VM 操作的值。 更好的问题是配置是否可以以可接受的完整成本交付所需的工作。
裸机与虚拟化常见问题解答
裸机总是比虚拟机快吗?
不会。硬件、资源分配、存储和软件设置会影响结果。 在匹配的硬件上,虚拟化增加了工作,但可衡量的应用程序影响可能很小。 配置更好的虚拟机的性能优于配置不当的物理部署。
虚拟化总是会降低 10% 的性能吗?
不,没有通用 10% 惩罚。 结果取决于工作负载、管理程序、设备和分配策略。 使用已发布条件的基准测试,然后根据自己的目标测试您的应用程序。
CPU 窃取时间与管理程序开销是否相同?
不。窃取时间是平台报告的调度信号。 它不衡量内存转换、虚拟设备、主机处理或资源争用的每一个成本。
具有专用 CPU 资源的 VM 还能有开销吗?
是的。 专用CPU分配可以减少调度竞争,但虚拟化堆栈仍然存在。 内存放置、存储、网络和主机工作仍然会影响性能。
容器可以在裸机和虚拟机上运行吗?
是的。 容器共享托管它们的环境的内核。 在 VM 中运行它们会保留虚拟机管理程序层,并在该 VM 和其他来宾之间添加单独的客户机内核边界。
GPU 直通是否会消除每个虚拟化限制?
不可以。分配 GPU 会更改设备访问权限,但 CPU 处理、内存、数据加载、网络、驱动程序和平台支持仍然很重要。 测试完整的培训或推理工作流程。
我们可以在租用的裸机服务器上运行我们自己的管理程序吗?
通常,如果硬件、提供商条款、软件支持和许可证允许它。 在订购前确认虚拟化扩展、远程访问、存储布局、网络需求和恢复职责。
一个小的基准差异足以证明迁移的合理性吗?
只有当它改变了服务目标、容量要求或足以证明搬迁合理的完整运营成本时。 包括迁移工作、停机时间规划以及您的团队需要替换的 VM 功能。
准备 Atal Networks 的工作负载简介
有用的基础设施讨论从应用需求和测量开始。 准备您的应用程序堆栈、操作系统、当前配置、正常和峰值需求以及可接受的响应时间。
添加存储模式、增长、网络流量、用户位置、所需的硬件功能、恢复目标和管理职责。 包括 CPU 调度延迟、内存压力或 I/O 限制的任何证据。
评论 Atal Networks 裸金属服务器选项,然后确认您的工作负载所需的配置和服务范围。
使用 Atal Networks 共享您的工作负载和当前性能测量 讨论合适的基础设施选项。
