25Gbps 专用服务器可通过存储流量、虚拟机、备份或内容交付满足超过 10Gbps 的工作负载。 100Gbps的专用服务器可以适合于在节点之间移动大量数据的密集存储系统、大型分发平台和计算集群。
正确的选择取决于测量的需求和转移期限。 繁忙的网站或强大的 GPU 本身并不能证明这两种速度是合理的。
我们建议分别评估三个要求:用户流量、服务器之间的流量和恢复期间的流量。 然后检查硬件、网络路径和托管合约是否支持这些要求。
25Gbps 与 100Gbps 一目了然
100Gbps 连接的标称容量是 25Gbps 的四倍。 与 10Gbps 相比,增加的是 2.5 倍和 10 倍。
该额外容量可以缩短传输或服务更多并发流量。 它不保证应用程序性能的相同提升。
| 测量的 | 10Gbps | 25Gbps | 100Gbps |
| 标称链接率 | 10,000Mbps | 25,000Mbps | 100,000Mbps |
| 原始十进制字节率 | 1.25GB/秒 | 3.125GB/s | 12.5GB/秒 |
| 1TB的理想最小值 | 13 分 20 秒 | 5 分 20 秒 | 1 分 20 秒 |
| 10TB 的理想最小值 | 2 小时 13 分 20 秒 | 53 分 20 秒 | 13 分 20 秒 |
| 潜在用途 | 适度的网络需求 | 超过 10Gbps 的工作负载 | 高总需求或短转移窗口 |
这些是计算值,而不是基准结果。 传输时间使用小数单位、一方向和不间断的全速率传输。 它们排除了协议开销、存储延迟、处理和其他限制。
网络速度使用每秒位数。 存储和文件传输工具通常每秒使用字节数。 除以 8 的 Gbps 以计算以小数 Gb/s 为单位的原始速率。
我们的 服务器端口速度指南 涵盖端口容量和实际吞吐量之间的关系。
首先,将公共带宽与专用网络分开
服务器在内部可能需要 100Gbps,而仅使用小型公共 Internet 连接。 这些网络承载着不同的工作。
公共带宽在您的基础设施之外承载流量
公共流量包括客户下载、API 响应、视频传递和传输到外部系统。
它的性能取决于本地端口。 路由、提供商容量、数据包丢失、距离和接收连接都会影响交付。
具有 100Mbps 连接的客户无法以 100Gbps 的速度下载。 然而,成千上万的客户可以创造大量的综合需求。
专用网络连接您的服务器
私人交通可能包括:
- 计算节点读取共享存储。
- 复制数据的存储节点。
- 虚拟机在主机之间移动。
- 备份作业写入存储库。
- GPU交换训练数据。
- 传输复制数据的数据库节点。
此流量可能永远不会离开提供商的专用网络。
例如,托管平台可能会在其计算服务器和存储服务器之间每秒产生数十千兆比特的公共流量,从而提供 2Gbps 的公共流量。 增加公共带宽并不能解决私有存储网络的限制。
NIC 速度不定义合约
网络接口卡或 NIC 描述了硬件功能。 提供商的服务条款定义了您可以使用的连接。
| 规范 | 它告诉你什么 |
| 网卡容量 | 接口支持的速度 |
| 配置端口速度 | 本地链路上配置的速率 |
| 公共带宽承诺 | 服务涵盖的公共容量 |
| 专用网络容量 | 连接系统之间的可用容量 |
| 转移津贴 | 计费期限中包含的流量 |
| 爆发津贴 | 流量是否可以暂时超过提交的速率 |
具有 100Gbps NIC 的服务器的公开承诺可能较低。 一个 25Gbps 的专用链路可能没有等效的公共连接。
单独询问这些细节。
谁应该考虑 25Gbps 专用服务器?
当 10Gbps 无法满足应用程序的流量需求或传输截止日期时,25Gbps 的连接值得评估。
它还可以为一些原本会争夺相同 10Gbps 链路的工作提供空间。
具有共享存储的虚拟化主机
一台物理主机可能运行许多虚拟机。 他们的流量加起来。
主机还可以承载存储访问、备份和迁移流量。 在维护期间,可以舒适地处理客户流量的链接可能会变得繁忙。
实时迁移增加了另一个要求。 当 VM 继续更改某些内存时,系统会传输 VM 内存。 因此,发送的数量可能超过 VM 的初始内存大小。
在选择 25Gbps 之前,请在正常工作和迁移期间测量主机的综合需求。 还要检查接收主机和共享存储。
超过 10Gbps 的存储节点
快速驱动器可能会暴露出网络限制,尤其是当多个客户端同时读取或写入时。
Ceph 的文档建议考虑大量工作负载的 25Gbps,并指出密集节点可以保证 100Gbps。 它还考虑了客户端流量、复制和恢复流量。 这些是存储系统建议,不是每个专用服务器的要求。
对于存储尺寸,测量实际工作量下的持续性能。 短暂缓存的读取不会显示系统将如何处理从磁盘进行的长时间传输。
10Gbps以上的媒体和软件交付
流媒体、软件下载和游戏更新可以为许多用户创造高总需求。
例如:
2,000 个直接流 × 8Mbps = 16Gbps 的视频有效负载
10Gbps 的连接不能以规定的比特率承载该需求。 如果 25Gbps 的连接为开销、比特率变化、其他流量和增长留下了足够的容量,则可能是合适的。
这是一个大小示例,而不是保证的观众数量。
内容交付网络会更改计算。 如果 CDN 为大多数查看者提供服务,请使用原点和 CDN 之间的流量(包括缓存未命中和刷新)来调整原始连接的大小。
短传输窗口的备份
每月卷可以隐藏对时间敏感的需求。
在一个周末移动 10TB 不同于在两个小时内移动相同的数量。
两小时的转移需要:
10TB × 8,000 ÷ 7,200 秒 = 11.1Gbps 应用吞吐量
即使在开销之前,10Gbps 的链路也无法满足该截止日期。 25Gbps 路径具有足够的标称容量,但存储和备份处理也必须保持所需的速率。
使用任何压缩或重复数据删除后实际发送的数据量。 衡量这些影响,而不是假设固定的减少。
谁应该考虑 100Gbps 专用服务器?
当所需流量超过较低层级或传输必须在短期窗口内完成时,100Gbps 专用服务器将变得相关。
最强的案例涉及可测量的容量要求。
密集的存储和恢复工作负载
存储节点可以为客户端提供服务,同时处理复制和恢复。
在正常操作期间,节点可能仅使用其连接的一部分。 失败后,剩余的节点可能需要移动替换副本,同时继续为应用程序提供服务。
即使正常流量较低,这种恢复需求也可以证明更大的连接是合理的。
评估应包括:
- 客户端读写。
- 复制或擦除编码流量。
- 磁盘或节点故障后恢复工作。
- 恢复期间的可用存储性能。
- 网络故障后剩余容量。
只有当存储系统可以提供和接收数据时,更快的网络才会有所帮助。
大型内容交付系统
一个大的交付节点可以服务于许多并发下载或流。
例如:
8,000 个直接流 × 8Mbps = 64Gbps 的视频有效负载
这超过了 25Gbps 的连接。 100Gbps 的设计可能会提供足够的容量,但会受到开销、流量变化和完整的交付路径的影响。
服务器还需要提供内容。 经常请求的文件可能来自 RAM。 大型目录可能需要从存储中持续读取。
尽管产生相同的出站流量,但这两个工作负载可能需要不同的硬件。
截止日期紧迫的备份和恢复系统
恢复时间可能比常规备份计划要求更高。
在一小时内移动20TB需要:
20 × 8,000 ÷ 3,600 = 44.4Gbps 的应用吞吐量
超过25Gbps。 如果整个系统维持必要的速率,100Gbps 的连接可能符合要求。
但是,复制备份数据只是还原的一部分。 解压缩、完整性检查、数据库恢复和应用程序启动可以增加时间。
我们建议测量完整的恢复过程,而不仅仅是网络副本。
具有大量数据交换的计算集群
一些数据处理作业在服务器之间移动大型中间数据集。 分布式训练也可以在 GPU 节点之间频繁交换数据。
这些工作负载会花费大量时间等待通信。
当网络传输限制作业完成时,较大的连接可以提供帮助。 结果仍然取决于软件、拓扑、消息大小以及计算和通信之间的平衡。
一个 100Gbps 的交换机上行链路也不意味着每个连接的服务器有 100Gbps。 检查分配给每个节点的容量以及它们之间的共享路径。
其他系统承载流量的服务节点
代理、网关或交付节点可以代表许多应用程序处理流量。
在这里,汇总吞吐量很重要。 数据包速率和处理成本也很重要。
转发小数据包或加密多个会话的系统可能会在达到其通告的比特率之前达到 CPU 限制。 测试预期的流量模式,而不是仅依赖于大文件基准。
AI或GPU服务器需要100Gbps吗?
GPU 不会自动创建 100Gbps 的网络需求。 答案取决于工作负载如何使用数据和通信。
| 人工智能操作 | 主要网络问题 |
| 单服务器推理 | 网络上有多少请求、响应和模型加载流量? |
| 数据集加载 | 存储能否快速传递数据以保持处理繁忙? |
| 检查点 | 系统可以在允许的时间内保存所需的状态吗? |
| 分布式培训 | GPU在节点之间交换数据的时间是多少? |
在使用适度的网络容量时,单服务器推理服务可能会受到 GPU 内存或计算的限制。
多节点培训作业可能有非常不同的需求。 它可能需要 GPU 之间的频繁通信,使网络性能成为计算性能的一部分。
远程直接内存访问或 RDMA 允许兼容系统传输数据,而 CPU 在数据路径中的参与程度更低。 ROCE 提供以太网的 RDMA。
这些功能需要兼容的硬件、软件和网络配置。 NVIDIA 的文档显示 GPU 到 NIC 的放置和传输设置会影响操作和性能。
不要假设公共的 100Gbps 连接提供了合适的专用培训网络。 此外,不要假设每个训练集群的 100Gbps 就足够了。 测试预期的工作量。
如何计算您需要的容量
我们建议调整每个相关网络路径的大小,而不是单独从应用类别中选择速度。
1. 测量正常流量和繁忙时段
收集具有代表性的商业周期的流量测量。
包括计划备份、部署、流量高峰和维护。 一个安静的日平均值可能会错过导致延误的时期。
分别记录入站和出站需求。 全双工以太网可以同时发送和接收,但它的两个方向并不能合二为一。
2. 将转移截止日期转换为所需的吞吐量
对于十进制单位:
所需应用程序 Gbps = 以 TB × 8,000 的数据为单位的可用秒数
| 示例要求 | 计算的应用程序吞吐量 |
| 四小时内10TB | 5.6Gbps |
| 两小时内10TB | 11.1Gbps |
| 一小时内20TB | 44.4Gbps |
| 两小时内50TB | 55.6Gbps |
这些数字不包括开销和其他流量。 他们确定应用程序必须维持的最小有用数据速率。
3. 添加同时使用相同路径的工作
假设一个私有连接必须携带:
- 8Gbps 的客户端存储流量。
- 6Gbps 的复制流量。
- 4Gbps的备份流量。
假设这些速率在同一方向上重叠,总需求为 18Gbps。
不要添加使用单独链接或两次计算相同流量的流量。 首先映射实际路径。
25Gbps 链路的标称容量高于 18Gbps,但最终决定仍需要开销、需求变化和所需性能目标的空间。
4.检查故障情况
询问当链接、交换机或节点变得不可用时会发生什么。
两个 25Gbps 链路可以提供高达 50Gbps 的总称容量和适当的分布。 一失败后,只剩下25Gbps。
如果工作负载需要 35Gbps,则设计无法在故障后保持该速率。
容量规划应涵盖事故期间所需的服务水平,而不仅仅是正常操作。
5.根据工作量选择保证金
没有适合每个系统的单一利用率百分比。
交互式服务可能需要更多的备用容量,以避免在突发期间排队。 预定的传输可以容忍专用路径上的持续高使用率。
根据流量变化、增长、恢复工作和可接受的延迟选择保证金。 然后测试那个选择。
硬件可以使用连接吗?
100Gbps 端口表示 12.5Gb/s 的原始字节率。 以该比例移动数据对整个服务器提出了要求。
存储和内存
检查源的持续读取和目标的持续写入。
例如,提供 4Gb/s 的存储路径可以在其他限制之前提供大约 32Gbps 的文件数据。 100Gbps NIC 不会消除该约束。
存储性能也会随着 RAID 布局、文件大小、队列深度、缓存状态和竞争活动而发生变化。
RAM 缓存可以支持经常请求的内容,但它不能解决活动数据集远大于可用内存的工作负载。
NIC 和 PCIe 连接
NIC 通过 PCIe 连接到服务器。 PCIe 生成和活动通道宽度都会影响可用带宽。
检查协商的连接,不仅是物理插槽大小。 一个大插槽可以提供比它的外观所暗示的更少的电线。
对于双端口 NIC,评估卡的总数据需求及其背后的平台连接。 两个快速端口并不能证明每个组件都可以全速支持两者。
CPU 处理和 NUMA 放置
网络使用 CPU 资源进行数据包处理、加密、应用工作和数据移动。
在具有多个处理器或内存域的服务器上,NIC、内存和应用程序进程的位置会影响性能。 这种安排通常通过非均匀的内存访问或 NUMA 来描述。
ESNet 的高速基准测试指南解释了为什么 CPU 放置和中断处理会影响 100Gbps 及以上的可重复性。 其建议需要根据实际平台和工作量进行评估。
检查每个核心的使用情况。 当服务器的总 CPU 使用率显示低时,单个繁忙的内核可能会限制性能。
开关、光学和远程系统
确认网卡、交换机端口、电缆和收发器支持所需的模式。
SFP28 和 QSFP28 在 25GbE 和 100GbE 部署中很常见,但兼容性取决于确切的组件。 在适用的情况下检查支持的光学器件、电缆长度、分线选项和正向纠错设置。
还要检查交换机上行链路。 许多快速服务器端口可以共享较小的上游连接。
最后,测试接收系统。 快速发送者无法克服慢速目的地。
一台 100Gbps 服务器还是几台较小的服务器?
单个大型服务器可以简化应用程序布局。 多台服务器可以分配流量并减少丢失一台机器的影响。
选择取决于应用程序如何处理分布。
| 设计因素 | 一台较大的服务器 | 几个较小的服务器 |
| 应用程序布局 | 可能更简单 | 需要流量和工作负载分配 |
| 硬件故障 | 会影响整个服务 | 可能仅影响部分服务 |
| 地理交付 | 一个位置,除非重复 | 可以服务多个区域 |
| 产能增长 | 通常与现有平台有关 | 可以在支持的地方添加节点 |
| 数据管理 | 更少的副本或本地路径 | 可能需要复制和协调 |
| 操作 | 更少的系统管理 | 更多系统和依赖项 |
四台 25Gbps 服务器提供 100Gbps 的标称聚合容量。 在开销和其他限制之前丢失 1 会留下 75Gbps。
如果服务在失败后仍必须提供 100Gbps 的服务,则该设计需要更多容量。
普通的链路聚合也不会使每个连接都使用所有的成员链接。 流量通常按流量传播,因此一流量可能仅限于单个成员链路。
比较可用的容量、应用程序行为和故障处理,而不是单独添加端口号。
谁不需要 25Gbps 或 100Gbps?
当当前网络已经满足需求并且问题在于其他地方时,更高速的连接不太可能提供帮助。
常见的例子包括:
- 因数据库查询而延迟的网站。
- 受应用程序处理限制的 API。
- 受远程连接约束的文件传输。
- 由磁盘写入限制的备份。
- 受 GPU 计算限制的单服务器 AI 服务。
- 受距离或不稳定路由影响的游戏服务器。
缓存、CDN、应用程序更改或更好的存储可以更直接地解决这些问题。
当拥塞导致延迟时,较大的端口可以减少排队。 它不会缩短物理路线或保证较低的 ping。
我们的 10Gbps 专用服务器选择指南 可以帮助评估较低层是否满足要求。
订购前要检查什么
服务规范与端口号一样重要。
确认公共和私人容量
询问供应商:
- 该服务器的公开费率是多少?
- 包括哪些专用网络容量?
- 是每台服务器、每个端口或共享的广告速率?
- 服务能维持规定的费率吗?
- 承诺涵盖哪些路线或目的地?
- DDoS 过滤期间是否有单独的限制?
一个100Gbps的接口,一个100Gbps的Internet承诺和100Gbps的缓解能力描述了不同的东西。
检查计费模型
计量计划包括定义的转移津贴或使用费。 未计量的计划通常按其服务条款收费而不是每个传输的字节。
一些服务使用 95% 的计费。 提供者对流量进行采样,移除最高的 5% 样本,并根据合同使用剩余的阈值。 采样间隔和方向处理可能不同。
确认超额费用、突发限制、合理使用条款以及入站或出站流量计数。
仅港口容量就没有说明每月成本。
比较全部成本
包括:
- 服务器配置。
- 公共带宽承诺。
- 专用网络。
- 交通费用。
- 设置和安装。
- 支持范围。
- 冗余系统。
- 任何必需的硬件更改。
如果工作负载无法使用该容量,则每公告千兆位的低价仍然可能是低价值。
比较满足实际需求的成本。 这可能是恢复期限、交付目标或测试的故障转移条件。
确认升级过程
速度增加可能需要的不仅仅是配置更改。
提供商可能需要更换 NIC、安装不同的光学设备、将服务器移至另一个交换机或将工作负载迁移到不同的平台。
在将升级部分纳入项目截止日期之前,询问停机时间、交货时间和位置可用性。
提交前如何测试
有用的验收测试检查网络容量和应用程序结果。
记录环境
记录 CPU、NIC、存储、操作系统、驱动程序、MTU、测试工具版本、端点和网络范围。
包括测试使用公共互联网还是私人连接。
测试单流和聚合性能
运行单流测试,然后进行并行流测试。 测试两个方向。
这些结果回答了不同的问题。 聚合吞吐量显示综合容量,而单一流程结果有助于评估依赖于一种连接的应用程序。
ESNet 报告说,其 100G 测试主机通常在多种流中的速率高于 1 个。 它还指出,数据传输节点可能受到存储的限制。 这些观察结果适用于其规定的环境,而不是每个托管服务器。
使用您控制或有权进行测试的端点。 在运行长时间测试之前确认交通费用。
测试应用程序
使用实际工作负载:
- 恢复代表性备份。
- 通过预期的存储协议复制数据。
- 运行并发 HTTPS 下载。
- 测量 VM 迁移。
- 运行一个有代表性的分布式计算作业。
记录完成时间、CPU 负载、存储活动和网络行为。
仅网络测试并不能证明该应用程序符合其目标。
测试所需的故障行为
如果故障转移是设计的一部分,请使用受控测试来检查剩余容量。
确认该服务仍符合其要求的费率或截止日期,并且组件不可用。 仅当系统正确使用并且具有足够的容量时,第二个连接才有用。
常见问题
100Gbps 比 25Gbps 快四倍吗?
它提供了四倍的标称链路容量。 应用性能不一定会提高四倍,因为存储、处理、网络路径和接收系统可能会施加下限。
100Gbps和100TB的带宽是一样的吗?
不会。GBPS 衡量一个费率。 结核病测量体积。 100TB 的传输余量不定义数据移动的速度,100Gbps 的端口不定义包含多少传输。
100Gbps NIC 是否包含 100Gbps 互联网?
不可以。NIC 描述了硬件功能。 公共带宽取决于托管计划和合同。 分别检查公共承诺和专用网络容量。
25Gbps 是否足够存储集群?
它可以。 答案取决于客户端流量、驱动器性能、复制、恢复需求和网络布局。 调整工作负载的每个节点和共享路径的大小,包括故障条件。
两个 25Gbps 端口可以取代一个 100Gbps 端口吗?
它们提供最多 50Gbps 的标称聚合容量,而不是 100Gbps。 对于普通的链路聚合,一流也可能仅限于一个 25Gbps 成员链路。
一个连接可以使用一个完整的 100Gbps 端口吗?
它取决于主机、软件、协议和网络路径。 不要假设它会达到线路速率或不可能。 与聚合吞吐量分开测试单流性能。
100Gbps 服务器会减少 ping 吗?
它可以减少由较慢链路上的拥塞引起的延迟。 它不会删除距离、布线延迟或处理时间。 较高的容量并不能保证较低的 ping。
每个 GPU 服务器都需要 100Gbps 吗?
没有。单服务器推理、数据集加载和分布式训练有不同的流量模式。 在选择连接之前测量工作负载的网络使用和通信延迟。
100Gbps DDoS 保护与 100Gbps 服务器连接是否相同?
编号 缓解能力 描述服务范围内的攻击处理能力。 服务器的可用连接和清洁流量限制是单独的规范。
