要在专用服务器上自主托管 LLM,请调整模型的硬件、上下文长度、活动请求和响应时间目标。 模型权重、请求内存、运行时开销、系统 RAM、CPU 工作和存储的预算。 成功加载的模型已经通过了内存检查,而不是生产能力测试。
在繁忙的时间里,差距变得清晰。 一项简短的请求有效。 有几个用户提交了很长的文档,请求队列的增长,同一台服务器的内存耗尽或响应时间过长。
通过按此顺序计划来避免该问题:
- 定义确切的模型和请求配置文件。
- 分别计算权重内存和缓存内存。
- 完整的服务器和支持服务的预算。
- 根据响应时间和质量目标测试现实的流量。
- 比较通过的配置的完整成本。
从模型和请求配置文件开始
服务器大小从应用程序必须执行的操作开始。 “为我们的团队运行法学硕士”过于广泛,无法产生有用的硬件推荐。
在比较服务器之前记录这些输入:
| 键入 | 记录什么 |
|---|---|
| 模型 | 确切的名称、修订、架构和许可证 |
| 重量格式 | FP16、BF16或特定量化伪影 |
| 前后关系 | 正常和最大提示加输出令牌数 |
| 交通 | 活跃的世代、到达率和爆发行为 |
| 表演 | 第一个令牌的时间和可接受的完成时间 |
| 质量 | 模型必须正确完成的任务 |
| 其他服务 | 嵌入、重新排序、矢量搜索、API 和监控 |
| 操作 | 更新流程、恢复需求和增长储备 |
上下文包括系统指令、聊天记录、检索的文本、用户输入和生成的输出。 如果应用程序添加了多个文档,一个简短的问题可以产生一个长模型输入。
还将用户与活动请求分开。 具有 100 个注册用户的服务可能只有几代人一次运行。 一个人使用的代理可以在单个任务期间发出多个请求。
有关服务过程的定义,请参阅 人工智能推理意味着什么.
将推理与训练分开
本指南涵盖推理:使用已经训练过的模型来产生答案。 根据方法,训练和微调可能需要额外的梯度、优化器状态和激活内存。
不要使用推理大小表作为培训建议。 如果同一台机器必须为用户提供服务并运行微调作业,请测试组合的时间表或将这些工作负载分开。
首先计算模型权重内存
模型权重是在推理过程中使用的存储数值。 它们的内存占用空间为硬件预算提供了起点。
以字节为单位的理想化权重记忆 = 参数计数 × 每重量位 ÷ 8
对于 16 位的标称 80 亿参数模型:
8,000,000,000 × 16 ÷ 8 = 16,000,000,000 字节或 16 GB
在每个权重的理想化四位时,相同的计算给出 4 GB。
| 标称模型尺寸 | FP16/BF16 重量地板 | 8 位重底 | 4 位重量地板 |
|---|---|---|---|
| 8b | 16 GB | 8 GB | 4 GB |
| 14B | 28 GB | 14 GB | 7 GB |
| 32B | 64 GB | 32 GB | 16 GB |
| 70b | 140 GB | 70 GB | 35 GB |
这些数字仅涵盖理想化重量。 它们排除了请求缓存、工作缓冲区、量化元数据和其他运行时分配。 确切的模型也可能具有比其圆形名称所暗示的更多的参数。
为什么 4 位文件比原始计算需要更多
量化的伪影可以包含以其他精度存储的比例值、元数据和张量。 它下载的大小和加载的内存占用空间可能不同。
记录确切的工件,然后在预期的运行时加载内存后检查内存。 不要将标记为“4 位”的所有格式视为可互换的。
减轻权重精度也不会自动降低请求缓存的精度。 这些是单独的设置,具有单独的兼容性和质量检查。
使用 MOE 重量计划的总参数
专家混合模型或 MOE 模型仅为每个令牌激活其专家网络的一部分。 这可以减少相对于使用每个专家的计算,但其他权重仍然需要放置计划。
对于完整的居住权,存储模型的预算,而不仅仅是其活动参数计数。 专家卸载和分布式放置可以改变使用内存的位置,但它们会引入自己的传输和执行成本。
保持GB和GIB一致
一GB是十亿字节。 1 GiB 为 1,073,741,824 字节。 4 GB 有效负载约为 3.73 GiB。
在从设备预算中减去模型内存之前,将值转换为同一单位。 使用为部署报告的实际可用内存,而不是将产品标签与不同报告的测量值混合使用。
添加 KV 缓存、上下文长度和并发请求
键值缓存,通常称为 kv缓存,存储模型生成文本时使用的注意力数据。 模型权重可以在一个模型实例中跨请求共享,但活动序列也需要请求状态。
这就是为什么即使加载的模型没有改变,更长的上下文和更多的活动请求也会消耗内存。
对于在每一层中具有相同全注意力布局的传统解码器,估计逻辑缓存有效负载为:
kv 字节 ≈ 2 × 层 × kv 头 × 头部尺寸 × 每缓存值的字节数 × 总缓存令牌
两个的系数占键和值。 总缓存令牌是指跨活动序列的总和。 如果所有序列的长度相同,则将该长度乘以活动序列的数量。
这不是每个模型的通用公式。 滑动窗口注意、其他缓存架构、缓存量化和运行时分配规则可以改变计算。 拥抱具有不同内存行为的人脸文档缓存策略,包括滑动窗口和分块注意层的限制。
工作缓存示例
Meta’s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 ÷ 32 = 128.
假设一个两字节的 KV 缓存,完全注意,没有前缀共享:
2 × 32 × 8 × 128 × 2 = 131,072 字节
这相当于 128 kib。
| 每个序列的缓存令牌 | 活动序列 | 计算的逻辑 KV 有效载荷 |
|---|---|---|
| 8,192 | 1 | 1 吉布 |
| 8,192 | 4 | 4 吉布 |
| 32,768 | 4 | 16 吉布 |
| 32,768 | 8 | 32 吉布 |
模型不变,但请求内存急剧变化。 这就是为什么在模型大小中添加固定百分比不能考虑每个上下文和并发目标的原因。
这些是计算的有效负载,而不是测量的 GPU 分配。 运行时可以提前预留缓存块或保留分配以供重用。 因此,监控工具报告的内存可能与实时令牌有效负载不同。
构建完整的 GPU 内存预算
对于完全 GPU 驻留的部署,请从以下步骤开始:
GPU 内存预算 = 加载权重 + kV 分配 + 运行时内存 + 操作预留
尽可能使用测量的运行时间值。 避免计算相同的保留缓存池两次。
示例:短上下文助手与共享服务
下面是一个 教学场景,不是 Atal 基准。 假设:
- 加载量化权重:5 GiB。
- 其他运行时工作内存:2 GiB。
- 运营储备:2 GiB。
- 来自 Llama 3.1 8b 示例的缓存布局。
| 内存项目 | 短语助手 | 较长的上下文共享服务 |
|---|---|---|
| 活动序列 | 1 | 4 |
| 每个序列的缓存令牌 | 8,192 | 32,768 |
| 加载的权重,假设 | 5 吉布 | 5 吉布 |
| 逻辑KV有效载荷,计算 | 1 吉布 | 16 吉布 |
| 其他工作记忆,假定 | 2 吉布 | 2 吉布 |
| 保留,假设 | 2 吉布 | 2 吉布 |
| 综合计划总数 | 10 吉布 | 25 吉布 |
在这些假设下,第一个配置文件清除 16 GiB 内存预算检查。 第二个超过 24 GiB 预算。 两者都不能证明吞吐量或响应时间。
储备和开销数字是本示例的输入,而不是一般建议。 在选择硬件之前,将它们替换为精确运行时和设置的测量值。
70B型号呢?
标称 70B 型号的理想化四位重量底座为 35 GB。 即使在缓存和开销之前,它也不能在 24 GB 可用内存内完全 GPU 驻留。
可能的路径包括较大的内存 GPU、支持的多 GPU 放置、CPU 卸载或通过任务质量测试的较小模型。 对于每 70b 工作负载,48 GB 设备并不是一揽子建议。 上下文、活动请求、格式化开销和运行时行为仍然很重要。
选择超过 VRAM 的 GPU 硬件
足够的内存使配置成为可能。 它没有使配置足够快。
使用相同的工作负载比较候选人:
| 硬件检查 | 确认什么 |
|---|---|
| 可用的 vram | 分区和其他进程后的实际分配 |
| 运行时支持 | GPU 架构、驱动程序、后端和模型支持 |
| 权重和缓存格式 | 支持的内核和内存行为 |
| 内存带宽 | 所选模型和请求组合下的性能 |
| 互连 | 用于所选并行方法的设备拓扑 |
| 电源和冷却 | 服务器中的持续运行限制 |
| 服务条款 | 专用或共享资源、支持和替换流程 |
避免从通用用户卡表中选择 GPU。 十个短请求和十个长文档请求是不同的工作负载。
将入围的模型修订版、运行时版本、提示/输出限制和活动请求目标保留在每个硬件选项旁边。 否则,比较难以重现。
大小 系统 RAM、CPU、存储和网络
系统 RAM:加载和主机服务的预算
系统 RAM 支持操作系统、模型加载、API、令牌化、监控以及任何 CPU 驻留模型或缓存状态。 嵌入模型、重新排列器和矢量数据库如果共享主机,则会增加进一步的需求。
测量启动和稳定运行期间的峰值 RAM。 加载方法可以使用启动后不存在的临时副本或缓冲区。
没有适合每个推理堆栈的单一 RAM-VRAM 比率。 从选定的运行时、卸载计划和支持服务构建主机预算。 由于主机内存不足,适合在 GPU 上的模型仍然会失败。
CPU:将核心和内存带宽与任务相匹配
在 GPU 支持的服务器上,CPU 仍然处理请求处理、标记化、网络和应用程序工作。 仅CPU 的推理还使处理器执行和系统内存行为成为性能的核心。
测试预期的线程数。 更多的核心不会自动产生匹配的令牌速率增加。 对于多插槽系统,检查内存位置以及 GPU 和网络设备的位置。
仅 CPU 专用服务器可作为批处理作业、实验或低频任务的候选者。 是否适合交互式使用取决于模型和测量的响应时间。
NVMe 存储:包括版本和恢复
一种以上下载的模型的预算存储:
存储预算 = 活动模型文件 + 回滚文件 + 运行时工件 + 应用程序数据 + 保留日志 + 可用空间
检索共享服务器时,添加矢量索引和文档数据。 还要考虑临时下载和转换文件。
本地 NVMe 可以减少模型加载和数据访问延迟。 在所有必需的权重都驻留在内存中后,它不能保证更高的生成率。 与 Warm Request 性能分开测量冷启动时间。
网络:将客户端流量与模型流量分开
公共网络端口处理客户端连接、下载和传输。 GPU 到 GPU 的链路和分布式推理节点之间的网络有不同的用途。
不要使用公共的 10 Gbps 端口规范作为多节点推理性能的证明。 检查实际的拓扑、通信方法和运行时要求。
对于语音应用程序,测量完整的转向:语音输入、转录、模型响应、语音生成和传递。 第一个令牌的 LLM 时间仅涵盖该路径的一部分。
将运行时和多 GPU 设计与工作负载相匹配
在做出最终硬件决策之前选择运行时间。 它控制模型支持、放置、批处理和内存管理。
| 运行时间 | 有用的评估路径 | 在提交之前检查 |
|---|---|---|
| 奥拉马 | 模型试验和更简单的服务工作流程 | 硬件支持、上下文、并行请求和加载模型限制 |
| 美洲驼.cpp | GGUF 模型、CPU 推理和部分 GPU 卸载 | 构建/后端、工件支持、卸载层和测量速度 |
| 虚拟现实 | 批量服务和支持的多 GPU 部署 | 模型/格式兼容性、内存控制、拓扑和负载下的延迟 |
Ollama 记录了并行请求和更长的上下文的内存需求。 llama.cpp 支持 CPU/GPU 混合推理。 这些是测试的选项,而不是特定令牌速率的保证。
拆分一种模型还是运行单独的副本?
在 GPU 上拆分模型时,它不适合一台设备时会有所帮助。 张量并行除支持张量运算; 管道并行性划分模型阶段或层。 MoE 部署也可以使用专家并行性。
副本有不同的用途。 每个副本都有自己的权重,可以处理一组单独的请求。 当一份副本已经适合时,副本可以增加服务容量,但它们不会将它们的内存组合起来容纳一个更大的模型。
两个 GPU 不成为一台自动内存池。 每设备分配、通信和运行时支持仍会限制布局。 VLLM 记录了多种并行方法和拓扑注意事项。
NVLink 不是一个普遍的要求。 比较实际支持的布局并对其进行基准测试。 无论是添加第二个 GPU 还是将 Total VRAM 翻倍,都不能保证有用的吞吐量的两倍。
在生产前对服务器进行基准测试
测试应用程序目标,而不是基准屏幕截图中的最高数字。
| 测量的 | 它告诉你什么 |
|---|---|
| 第一个令牌或TTFT的时间 | 客户端等待初始模型输出的时间 |
| 令牌间延迟 | 生成开始后的输出有多平稳 |
| 每次请求的输出率 | 一请求所经历的发电速度 |
| 总产出率 | 整个服务器的总输出 |
| 请求完成时间 | 完整响应需要多长时间 |
| 错误和队列增长 | 需求是否超过可用容量 |
定义和测量边界很重要。 NVIDIA 的基准指南区分了用户级令牌率、系统吞吐量和响应延迟。 将所选工具的定义与结果保持一致。
使用可重复的验收测试
- 修复配置。 记录模型修订、工件、令牌器、运行时、驱动程序、GPU、CPU、内存、存储和功率限制。
- 测试一项请求。 用代表性的输入和输出长度测量寒冷和温暖的行为。
- 增加并发性。 检查多个活动请求级别的正常和长请求。
- 测试到达爆发。 以预期的速率发送请求,因此队列和过载行为变得可见。
- 检查质量。 在更改精度、上下文或服务设置后重复任务测试。
- 记录通行证条件。 包括延迟、成功的吞吐量、内存、质量和所需的保留。
在持续热身后使用几次测量重复。 报告失败、样本计数和结果的传播。 基于太少请求的 P99 数字可能会误导。
如果启用了前缀缓存,请测试重复的和新的前缀。 如果嵌入或重新排列共享机器,请将它们包含在负载测试中。 合成短提示结果无法建立长文档能力。
使用当前工具并记录其版本。 NVIDIA 当前的 Genai-Perf 文档表示,它正在逐步淘汰,并将新的基准测试工作引导到 AIPERF。
当内存是限制资源时
首先确定问题是模型加载、缓存预留、上下文增长还是其他服务。 然后改变一个因素并再次测试。
可能的选项包括较小的模型、支持的量化伪影、较短的上下文限制、更少的活动序列或其他放置计划。 这些选择可以改变质量、排队和吞吐量。
VLLM 将上下文长度和序列限制作为内存控件,并指出 Cuda Graph Capture 使用额外的 GPU 内存。 将设置视为测量配置的一部分。
将自托管成本与 API 和云 GPU 进行比较
仅比较满足所需任务质量和响应时间的配置。 产生不可用答案的廉价服务器不是节省的。
对于租用的专用服务器,包括:
- 计划期限内的租金和设置费用。
- 存储、传输、软件和支持费用。
- 用于更新、监控和事件的运营工作。
- 维护或故障处理所需的容量。
当租金已经包括在内时,请不要再次添加电源。 对于自有硬件,使用涵盖采购、能源、设施和支持的单独所有权模型。
每次接受请求的成本 = 一段时间内的全部成本 ÷ 在此期间接受的请求
例如,虚构的每月总成本为 $1,200 除以 600,000 个接受的请求,每个接受的请求会产生 $0.002。 这是一个教学计算,而不是一个 atal 引用或测量的服务能力。
不要假设需求在相同的响应时间适合同一服务器的十倍。 当容量、人员配备或储备需求发生变化时,成本会发生变化。
对于 API 比较、价格输入令牌、输出令牌、缓存和其他计费类别。 对于云 GPU,包括运行时间、附加存储、传输和所需的支持服务。
没有通用的代币数量可以让自托管变得更便宜。 利用率、模型质量、请求长度、硬件和操作责任决定了结果。
在订购前检查部署限制
硬件贴合是准备工作的一部分。 确认确切的型号许可证和许可使用。 检查驱动程序、运行时和工件兼容性。
控制对推理端点的访问。 设置请求大小、输出、队列和速率限制。 定义日志记录和保留规则。 如果数据必须保留在特定边界内,请查看出站连接、外部嵌入、工具和回退 API。
租用的专用服务器不会自动在场地或气隙中。 自托管让您可以控制部署选择; 它不能证明每个提示在每个配置下都保持私密性。
计划模型更新、回滚文件、监控和恢复。 如果在主机故障期间服务必须继续,则该架构需要该主机之外的备用容量。 一台服务器内的多个 GPU 不提供第二台主机。
经常问的问题
我可以在没有 GPU 的情况下自主托管 LLM 吗?
是的。 支持的运行时间可以在 CPU 上运行模型,有些可以在 CPU 和 GPU 之间进行工作。 从适合系统 RAM 的模型和格式开始,然后测试响应时间。 仅CPU的推理适合批处理或低频任务,但必须测量交互式适用性。
24 GB VRAM 是否足以用于 LLM 服务器?
它取决于工件、上下文、活动请求和运行时。 一些紧凑的量化模型可能适合,但内存拟合并不能建立生产能力。 仅标称 70B 型号的理想化四位权重就需要 35 GB,超过 24 GB 的可用 VRAM。
70b 型号需要多少内存?
理想化的权重底座为 16 位时的 140 GB、8 位的 70 GB 和 4 位的 35 GB。 添加格式开销、缓存、工作内存和保留。 跨 GPU 和主机内存的放置取决于运行时。
两个 24 GB GPU 可以取代一台更大的 GPU 吗?
有时,如果模型和运行时支持适当的拆分。 它们不会自动等同于一台较大的设备。 通信、每设备开销、缓存放置和服务器拓扑均影响拟合和速度。
为什么模型加载但由于多个请求而失败?
Loading 检查初始模型分配是否适合。 额外的请求可以增加缓存和工作内存的需求。 在更改硬件之前,测量确切的故障点并检查上下文、活动序列限制和其他加载服务。
推理服务器需要多少系统 RAM?
启动峰值、操作系统、运行时、API 服务、CPU 卸载和任何检索组件的预算。 测量负载和稳定运行。 仅从参数计数或 GPU 内存中没有固定的系统 RAM 要求。
专用服务器比 API 便宜吗?
它可以,但以同等任务质量和响应时间比较全部成本。 低或不规则的需求可能会使租用的硬件闲置。 持续的需求可以提高利用率,前提是选定的服务器可以在服务目标内处理它。
推荐的下一步
从文档化的请求配置文件中选择硬件,而不是仅参数计数。 分别计算权重和缓存,添加完整的服务器预算,并测试剩余的配置。
提交前:
- 修复模型修订、工件、上下文和活动请求目标。
- 使用一致的单位计算内存预算。
- 确认运行时支持和每个设备放置。
- 测试延迟、吞吐量、质量和故障行为。
- 比较同期的全部成本。
要讨论合适的配置,请查看 Atal Networks 专用服务器 并共享您的模型、请求配置文件、内存估计、位置和软件需求。 在订购前确认特定优惠的 GPU 可用性和支持的选项。
来源和计算说明
2026 年 10 月 28 日检查了来源。模型配置、运行时支持和软件行为可能会发生变化,因此请记录用于部署的版本。
- META LLAMA 模型配置.
- 拥抱面部缓存策略.
- VLLM 内存控制.
- VLLM 并行和缩放.
- 奥拉马常见问题解答.
- 美洲驼.cpp 项目.
- NVIDIA 推理基准概念.
- NVIDIA 基准工具状态.
权重表使用理想化的位数和十进制 GB。 kv-cache 数据使用二进制 GiB 和声明的全注意假设。 5 GiB 权重分配、2 GiB 工作内存输入、2 个 GiB 储备和美元示例是虚构的教学输入。 它们不是阿塔尔测量、价格或容量索赔。
