一台 VPS 如果其分配的 CPU、内存和任何所需的 GPU 满足应用程序的响应目标,则可以运行 AI 推理。 裸金属 当您需要控制物理资源或足够的持续容量来证明整个服务器的合理性时,值得仔细研究。
AI推理的裸机与VPS之间的决策始于工作量。 成功加载的模型可能仍然与长时间输入、并发用户或严格的响应截止日期作斗争。
在本指南中,我们将这些要求分开,以便您可以为 Atal Networks 提供清晰的基础设施简介。
裸机和VPS:比较标签背后的资源
VPS 在物理主机上作为虚拟机运行。 提供商的分配策略决定了它可以使用多少 CPU、内存、存储和网络容量。
Bare Metal 为您提供了一个物理服务器,而您的操作系统和硬件之间没有提供程序管理程序。 您仍然可以在其上运行容器或自己的虚拟机。
两个标签都不能确认 GPU 的访问权限。 专用服务器可能没有加速器,而GPU虚拟机可能接收整个设备。
| 决断 | VPS 注意事项 | 裸金属注意事项 |
|---|---|---|
| CPU | 共享或专用 vCPU、调度、持续限制 | 处理器生成、物理内核、内存布局 |
| GPU | 可用性、整个设备或分区、共享策略 | 已安装的设备,GPU内存,互连 |
| 记忆 | RAM 分配和 GPU 内存限制 | 安装容量和可用内存 |
| 表演 | 分配的资源下的应用程序延迟 | 所选硬件上的应用程序延迟 |
| 成本 | 分配容量、空闲时间、流量、存储 | 全服务器成本、未使用容量、备用容量 |
| 复苏 | 重新启动、调整大小、主机故障、迁移条款 | 硬件更换、重建、恢复条款 |
满足您的服务目标的 VPS 可以支持生产推断。 当测试或隔离要求显示使用它的理由时,裸金属成为更强大的候选者。
对于更广泛的托管差异,请阅读我们的 专用服务器与 VPS 托管比较.
1. 定义你的推理工作量
Inference 运行训练好的模型来产生输出。 培训和微调需要单独的能力规划。
从精确的模型修订、服务软件和数值精度开始。 精度描述系统如何表示模型值。 量化减少了它们的位宽,这可以减少内存使用,但可能会影响输出质量和硬件兼容性。
在比较计划之前记录这些输入:
- 应用: 聊天、文档搜索、分类、图像或语音。
- 型号: 名称、修订、许可证和所需的运行时。
- 请求大小: 典型和最大输入和输出。
- 交通: 正常到达、高峰到达和爆发持续时间。
- 响应目标: 可接受的延迟或批处理完成时间。
- 质量目标: 您的应用程序必须维护的特定于任务的结果。
将批处理作业分开的交互式请求
面向客户的聊天服务在繁忙时段需要可接受的响应时间。 如果一个隔夜文档作业在截止日期之前完成,它可能会容忍队列。
即使这些工作负载每天处理相同数量的请求,也可能需要不同的硬件。
避免仅从每日总数中调整尺寸。 一千个短暂的分类请求在一天中传播到一千个长文档请求的不同负载,几分钟内到达。
使用正确的工作单位
使用输入长度、输出长度和响应时间测量文本生成。 对于嵌入,跟踪每秒处理的文档或段落。
对于图像工作负载,记录尺寸和处理设置。 对于语音,记录音频持续时间以及应用程序是否需要实时处理。
我们建议在更改精度或硬件之前定义可接受的质量。 如果其输出未能通过应用程序的质量检查,则更快的配置提供的价值很小。
2. 检查 CPU 和加速器要求
首先评估 CPU 推理适合的地方
某些分类、嵌入和较小的生成工作负载可以在 CPU 上实现其目标。 有用的问题是您选择的模型和运行时是否满足负载下所需的响应时间。
检查处理器生成、支持的指令、内存带宽和线程设置。 仅 VCPU 计数并不能描述可用的处理能力。
询问 VPS 是否使用共享 CPU 时间、专用 CPU 分配或突发积分。 确认任何持续使用限制。
对于较大的服务器,请检查 NUMA 放置。 NUMA 意味着当处理器使用系统中其他地方的内存时,内存访问可能需要更长的时间。 尽管核心数量较多,但不良的位置可能会限制性能。
确认实际 GPU 分配
“GPU VPS”描述需要更多细节。
全设备直通将物理 GPU 分配给虚拟机。 其他服务通过分时或硬件分区划分 GPU 访问。 虚拟 GPU 服务可能会使用不同的分配方法,因此请询问确切的安排。
NVIDIA 的多实例 GPU 或 MIG 将支持的 GPU 划分为具有单独计算和内存资源的实例。 它可以与虚拟机或裸机部署一起运行。 MIG 实例不是整个物理 GPU。 [1]
以书面形式请求 GPU 模型、分配的内存、计算分配和共享策略。
检查软件和多 GPU 兼容性
确认对您的操作系统、驱动程序、推理引擎和量化格式的支持。
多个 GPU 不会自动表现为一种较大的内存池。 您的软件必须支持跨设备拆分模型或工作负载,这些设备之间的通信可能会影响性能。
仅 CPU 专用服务器无法解决需要兼容加速器的工作负载。
3. 分别规划 RAM、GPU 内存和存储
系统 RAM、GPU 内存和磁盘存储有不同的用途。 购买更多的产品并不能自动修复另一项短缺的问题。
估计权重记忆
使用此起始计算:
原始重量字节 = 参数计数 × 每参数比特数 ÷ 8
对于具有 70 亿个参数的说明性模型:
| 重量精度 | 原始重量大小,十进制 GB |
|---|---|
| 16 位 | 14 GB |
| 8 位 | 7 GB |
| 4 位 | 3.5 GB |
这些数字仅涵盖原始重量。 量化元数据、运行时缓冲区、临时分配和其他工作内存添加到总数。
3.5 GB 的权重估计并不能证明该模型将在 4 GB 的 GPU 内存内运行。
上下文和并发请求的预算
生成模型通常会关注键值缓存或 KV 缓存中的数据,以避免重复之前的工作。 更长的序列和更多的活动请求可以增加缓存的内存使用。 确切的行为取决于模型和缓存实现。
测试典型请求和允许的最长请求。 处理一次短对话的配置可能会在几次长时间的对话中耗尽内存。
一些运行时可以将缓存数据卸载到系统 RAM 或降低缓存精度。 这些选项具有性能权衡,需要工作负载测试。
包括加载和回滚存储
允许模型文件、多个版本、适配器、容器映像、日志和临时下载的磁盘空间。
保持已知的工作版本可用于回滚。 在部署计划中包括下载、加载和加热模型所需的时间。
NVMe 存储可以缩短存储密集的操作。 在推理过程中,它无法替换足够的 RAM 或 GPU 内存。
4. 将并发与网络路径匹配
请求速率、活动请求和批处理大小描述了不同的内容。
请求费率衡量随着时间的推移到达。 并发计数仍在进行中的请求。 批量大小将运行时进程作为一个组描述的工作。
较长的输出使请求保持活动时间更长。 即使到达率保持不变,这也会增加内存使用和排队。
衡量用户的等待
对于文本生成服务,跟踪:
- 第一个令牌的时间: 发送请求到接收其第一个流式传输的延迟。
- 流出差距: 连续输出事件之间的时间。
- 总申请时间: 延迟到响应完成。
- 排队等待: 处理开始前的时间。
- 错误和超时: 未能按预期完成的请求。
还报告 P95 和 P99 的延迟。 P95 值描述了 95% 的测量请求或低于该点。
在测试中使用相同的测量点。 VLLM 将流式输出与每个输出令牌的平均时间区分开来。 这些度量可能会有所不同,尤其是当输出事件包含多个令牌时。
包括检索和数据传输
应用程序可以在返回答案之前获取文档、查询矢量数据库或调用另一个服务。 快速模型服务器无法消除这些延迟。
映射用户、API、推理工作器、数据库和存储之间的路由。 从代表性用户位置进行测试。
检查端口速度、流量允许、出口费用和私网可用性。 在流量估算中包括大型模型下载和图像或音频上传。
服务器位置只是数据放置的一部分。 日志、备份、检索服务和外部 API 可能会在其他地方处理或存储数据。
5.设置隔离、安全和恢复要求
定义您需要的边界
指定是否需要专用物理主机、专用 CPU 分配、整个 GPU 或单独存储。
这些要求是不可互换的。 虚拟机在共享其主机的 CPU 和网络资源时可能具有专用 GPU。
裸机消除了一些共享主机的担忧,但它不能保护暴露的应用程序端点。 您的操作系统、访问规则、推理服务和数据处理仍然需要控制。
保护端点和存储的数据
要求身份验证、限制管理访问以及设置请求速率、输入大小和输出长度的限制。
将机密排除在模型文件和公共存储库之外。 检查模型源并查看加载它们所需的任何自定义代码。
决定提示和输出是否属于日志。 为上传的文件、生成的内容、备份和共享缓存设置保留和访问规则。
在部署之前分配修补和监控职责。 不明确的所有权可能会让供应商和客户都期望对方采取行动。
超出快照的测试恢复
不要假设 VPS 快照保留了正在运行的模型的 GPU 状态。 确认支持的快照行为并测试应用程序重新启动。
通过适当的安全流程备份配置、部署文件、凭据以及您无法重新创建的任何数据。 确认访问正确的型号版本。
定义最长可接受的中断和您可以承受的损失的最新数据量。
单个 VPS 和单个专用服务器都可能失败。 需要较短中断的服务可能需要单独的故障域中的第二个副本、基于健康的流量路由以及在一次副本停止后承载流量的能力。
6. 测试容量和运营成本比较
保持比较公平
使用相同的模型修订版、运行时、精度、请求组合、输出设置和质量检查。
对于虚拟化开销声明,请比较等效的底层硬件和资源分配。 如果硬件不同,请将结果视为两个部署的比较。
记录软件版本、测试持续时间、请求计数、热身、客户端位置和缓存状态,以便其他工程师可以重复测试。
测试超过最佳情况
运行正常流量、短突发、持续峰值、长输入和冷启动。 重复测试,而不是依靠一个安静的时期。
观察队列增长、内存使用、错误和延迟变化。 测试重新启动或故障转移行为并确认剩余容量符合所需的服务级别。
重复的提示可以通过缓存重用使结果看起来更好。 VLLM 警告说,对同一服务器重复基准可以重用缓存的前缀并提高吞吐量。 将缓存行为与生产流量匹配或在相关测试之间重置。
| 查 | 通过条件 |
|---|---|
| 输出质量 | 符合您的申请的验收标准 |
| 正常交通 | 满足响应和错误目标 |
| 高峰交通 | 将队列和超时保持在约定的范围内 |
| 记忆 | 处理允许的输入和并发性而不会发生分配失败 |
| 冷启动 | 在部署目标中准备就绪 |
| 复苏 | 在所需的中断限制范围内恢复服务 |
| 成本 | 符合预期使用情况的预算 |
在测试前设置通过条件。
计算每个接受请求的成本
最低的月度发票可能会产生最高的每个有用结果的成本。
使用:
每 1,000 个接受请求的成本 = 总周期成本 ÷ 接受的请求 × 1,000
计数符合商定质量和延迟标准的请求。 包括服务器费用、流量、存储、备份、许可证、监控、运营工作和备用容量。
举例说明,在一个期间内花费 $300 并完成 600,000 个接受请求的部署成本每 1,000 个接受的请求中花费 $0.50。 这是一个计算示例,而不是 Atal Networks 报价或基准。
比较相似的输入和输出大小。 对于混合工作负载,请按请求类型分隔结果。
当需求适中或不平衡时,VPS 的成本可能会更低。 裸金属可以通过持续使用提供更好的经济性。 使用当前报价和您的实际工作负载测量交叉。
7. 带来 Atal Networks 清晰的部署简介
有用的基础设施讨论从应用程序及其约束开始。
与我们分享此清单:
- 型号名称、修订版、运行时、精度和许可证。
- 测试支持的 CPU 或 GPU 要求。
- 峰值系统 RAM 和 GPU 内存使用。
- 典型和最大输入和输出尺寸。
- 预期请求率、并发和突发持续时间。
- 响应时间、质量和可用性目标。
- 用户、应用程序、数据库和存储数据位置。
- 存储容量、增长和转移需求。
- 隔离、专用网络、IPv4/IPv6 和访问要求。
- 备份、恢复、管理、预算和部署要求。
要求我们在提交之前确认建议的硬件、分配、兼容性、服务条款和可用性。 确定仍然需要容量测试的任何要求。
与 Atal Networks 共享您的模型、预期请求模式、数据位置和基础设施要求,以讨论合适的选项。
常见问题
VPS 可以在没有 GPU 的情况下运行 AI 推理吗?
是的。 基于 CPU 的 VPS 可以运行兼容的推理软件和模型。 适用性取决于内存、处理器分配、请求大小和所需的响应时间。 在选择生产服务之前测试现实的流量。
在推理中,裸金属总是比 VPS 快吗?
不会。性能取决于硬件、资源分配、软件和工作负载。 一个合适的虚拟机可以胜过较旧的物理服务器。 比较完整的部署并衡量用户的响应时间。
GPU VPS 是否包含整个 GPU?
不一定。 计划可以提供整个设备、硬件分区或共享访问。 确认 GPU 模型、可用内存、计算分配和共享策略,而不是依赖计划名称。
在内存中拟合模型是否证明它可以处理峰值流量?
没有。运行时内存、缓存、输入长度和并发请求可以增加权重文件之外的需求。 在预期的峰值负载下测试最大的支持请求。
更多的系统RAM可以取代GPU内存吗?
某些运行时支持将选定的数据或计算移动到 CPU 和系统 RAM。 这不会使 RAM 等效于 GPU 内存。 兼容性和转移成本决定了该安排是否符合您的响应目标。
VPS 快照是否足以恢复推理服务?
不是自己。 恢复还取决于模型访问、配置、凭证、应用程序数据和重新启动行为。 测试恢复并确认提供商对特定部署的快照支持。
我们可以从每天的请求中选择一个服务器吗?
每日总计错过突发大小、处理时间和输入复杂性。 使用正常和峰值到达率、请求大小、活动请求和响应目标。 这些测量支持更有用的容量估计。
