...

为什么我的 10Gbps 服务器慢? 一步一步的故障排除指南

10Gbps 服务器故障排除指南横幅

10Gbps 服务器可能会很慢,因为客户端、存储、CPU、应用程序或网络路径无法维持请求的速率。 首先检查速度单位和链接速度。 然后在测量 CPU 使用情况、接口错误和 TCP 行为的同时在两个方向上比较受控测试。

快速服务器端口只是传输的一部分。 接收设备、远程网络和软件也必须跟上。

我们建议从症状到受控测试。 在更改设置之前,每个结果都应缩小搜索范围。 本指南使用 Linux 示例并解释了结果可以证明和无法证明的内容。

从这里开始:将您的症状与下一次测试相匹配

你看到什么了? 可能的原因 接下来要检查什么
转移保持在 110–120 MB/s 左右 1Gbps 段、存储限制或配置的 CAP 检查端点、链接速率和服务限制
一种连接速度很慢,但有几种速度更快 每流限制、CPU 处理、TCP 行为或不同的流路径 在观看单个 CPU 内核时比较一和四种流
网络测试很快,但文件副本很慢 存储、加密、应用程序行为或不同的流量策略 比较拷贝期间的磁盘活动和应用程序 CPU 使用情况
只有一个目的地很慢 远程端点限制、路由、拥塞或过滤 对另一个批准的终点重复相同的测试
上传和下载不同 发送方或接收方限制、方向策略或不同的路径 反转传输并监控两台主机
在繁忙的时候性能下降 竞争的工作负载、共享容量或队列构建 在匹配时间戳中比较主机和网络指标
一 CPU 内核保持忙碌 工作线程、数据包处理队列或加密限制 检查每个核心使用和处理流量的流程
小请求有效,但大转移停滞不前 MTU 问题、过滤或应用程序问题 检查路径 MTU 以及问题是否遵循数据包大小
传输期间延迟上升 在主机或网络设备上填充队列 比较负载前、中和负载后的延迟
中间地铁跳跃显示损失 有限的诊断回复或真正的转发问题 检查后续跳跃并与应用症状进行比较

这些是起点。 速度平台本身或计数器本身并不能识别出故障组件。

第一步:定义“慢”的意思

在运行基准之前记录受影响的任务。 慢速网页、SFTP 副本和备份作业需要不同的检查。

写下:

  • 来源和目的地。
  • 协议或应用程序。
  • 转移的方向。
  • 观察到的速率及其单位。
  • 时间、日期和时区。
  • 问题是否影响一位用户、一位目的地或每次转移。
  • 问题是否是新的以及在开始之前发生了什么变化。

对于网站,将缓慢的响应时间与缓慢的文件传递分开。 即使网络有备用容量,数据库查询也可以延迟第一个字节。

检查 Gbps、Mb/s 和 MIB/s

网络计划通常每秒显示千兆位。 文件工具通常每秒显示兆字节数。 一字节有八个位。

链接率 开销前的原始十进制字节率
1Gbps 125 MB/s
10Gbps 1,250 MB/s

这些数字是转换,而不是承诺的应用结果。 以太网、IP、传输头和其他开销降低了文件数据的可用速率。 MIB/S 使用与 MB/S 不同的单位,因此与 LIKE 进行比较。

以 100 MB/s 的速度下载约为 800 Mbps。 仅靠这种测量无法告诉我们存储、客户端连接或网络策略是否设置了限制。

检查您的计划实际提供的内容

查看端口速度、传输余量、流量策略和任何承诺的带宽。 “未计量”描述了一种计费安排。 它不会删除端点限制或使每个 Internet 路径成为 10Gbps 路径。

对于虚拟机,请将主机上行链路与来宾的允许费率区分开来。 报告高速的虚拟适配器并不能证明该虚拟机具有保留的容量。

我们的 10Gbps 与 1Gbps 专用服务器比较 说明容量差异。 故障排除仍需要测量实际工作负载。

第 2 步:检查端点和活动链接

10Gbps 服务器无法将文件以 10Gbps 的速度发送到连接最高为 1Gbps 的客户端。 这同样适用于带有下载上限的超载接收机或远程服务。

使用已知备用容量的第二个端点。 附近的测试主机有助于减少网络变量的数量。 稍后,对代表用户的远程端点重复测试。

识别传输所使用的接口

更换 test_server_ip 使用测试端点的地址:

ip route get TEST_SERVER_IP

ip -br link

路由结果标识该目的地的选定接口。 策略路由、容器、隧道和多个接口可以使这与您预期的接口不同。

对于 IPv6,请使用匹配的 IPv6 路由查找,并在比较之间保持地址族的一致性。

接下来,更换 介面 带有相关接口名称:

ethtool INTERFACE

ethtool -i INTERFACE

ip -s link show dev INTERFACE

ethtool -S INTERFACE

检查报告的速度、链接状态、驱动程序信息和可用的错误计数器。 某些命令需要更高的权限。 虚拟接口可能不会公开底层物理链路详细信息。

报告的速度 10000MB/s 当司机正确报告时,确认本地链接速率。 它不衡量通往客户的完整路径。

比较测试前后的计数器

事故发生后,旧错误可能会保留在计数器中。 在传输之前捕获值,然后在完成后比较它们。

将物理错误与其他掉落分开:

  • 上升的 CRC 或帧错误可能指向电缆、光纤、端口或信号问题。
  • 接收丢弃可能涉及队列、缓冲区、驱动程序行为或无法足够快地处理传入流量的主机。
  • 计数器名称和含义因适配器和驱动程序而异。

对于专用服务器,当主机计数器提示物理问题时,请提供商检查交换机端。 包括测试时间,以便提供者可以匹配其记录。

如果适配器或服务器硬件最近发生了变化,还要检查支持的收发器或电缆类型以及协商的 PCIe 链路宽度和速度。 一个有能力的 NIC 仍然需要通过其主机连接进行足够的带宽。

第三步:运行受控网络测试

普通的 iPerf3 测试有助于将网络传输性能与文件读写分开。 它不会复制 HTTPS 下载、VPN 会话或备份作业的每个部分。

使用您拥有或有权进行测试的端点。 在商定的窗口中运行高速率测试,因为它们会消耗客户使用的容量。 如果备用容量不确定,请从速率限制测试开始。

以下命令是诊断示例,未发布的基准测试结果。

准备测试

在两台主机上记录安装的版本:

iperf3 --version

使用兼容的 iPerf3 安装。 从 3.16 版开始,iperf3 对每个测试流使用一个单独的线程。 较旧的版本在并行负载下的行为可能会有所不同。 见 ESnet iperf3 常见问题解答.

在接收测试主机上,将 TCP 端口 5201 限制在防火墙中的源主机上。 将侦听器绑定到其预期的本地测试地址:

iperf3 -s -B LOCAL_TEST_IP

将大写的占位符替换为真实地址。 不要将不受限制的测试侦听器暴露在 Internet 上。

比较一流、几条流和两个方向

与客户端分开运行这些测试。 -r 使侦听服务器将数据发送回客户端。 -P 4 使用四个并行流。 -J 保存JSON输出。 示例每次测试使用 30 秒。

iperf3 -c TEST_SERVER_IP -P 1 -t 30 -J > forward-one.json

iperf3 -c TEST_SERVER_IP -P 4 -t 30 -J > forward-four.json

iperf3 -c TEST_SERVER_IP -P 1 -t 30 -R -J > reverse-one.json

iperf3 -c TEST_SERVER_IP -P 4 -t 30 -R -J > reverse-four.json

这些命令不会设置流量上限。 使用 安装了 iperf3 手册 为您的环境选择速率限制。 停止听众 CTRL+C 并在测试结束时移除临时防火墙访问权限。

记录接收方的吞吐量、可用的重传信息以及主机指标。 在将其视为基线之前,在相同的条件下重复不一致的结果。

将结果作为模式读取

测试模式 它暗示了什么 下一步行动
一和四流都表现良好 测试的端点和路径当时可以承载该负载 比较实际应用的存储和处理
四流优于一 单流结果有一个并行流量部分避免的限制 检查 TCP 状态、每核 CPU 使用情况和流量分布
两个方向都表现不佳 共享端点或路径限制仍然可能 检查主机计数器、CPU、配置的 CAP 和第二个端点
只有一种方向表现不佳 发送和接收条件不同 比较每个方向的 CPU、磁盘参与、策略和路径
附近的测试有效; 远程测试不 问题取决于远程端点或更宽的路径 比较 RTT、TCP 行为、路由和远程容量

一个强的并行结果并不能证明一个文件传输将达到相同的速率。 并行流可以使用更多的处理资源,并且可以遵循不同的网络路径。

将发送和接收结果分开。 将它们加在一起并不能描述单向吞吐量。

步骤 4:检查存储和应用程序

如果 iperf3 表现良好,但文件副本没有,请检查两个测试之间不同的部分。

发件人必须读取数据。 接收器必须处理和存储它。 缓慢的阶段可以阻止整个传输。

在实际副本期间观看磁盘活动

在 Linux 上,工具来自 系统统计 包可以显示存储活动:

iostat -xz 1 5

查看两个系统上的读取和写入速率、请求延迟和队列行为。 不要诊断出现代 SSD 或 RAID 阵列 %util 一个人。 设备并行性和工作负载类型会影响该数量与容量的关系。

检查:

  • 备份、快照或 RAID 重建同时运行。
  • 接收系统上的高写入延迟。
  • 许多需要频繁元数据工作的小文件。
  • 文件系统或设备错误。
  • 存储配额和低可用空间。
  • 快速的第一次转移,然后是较慢的持续转移。

最后一种模式可能涉及内存缓存或设备的写入缓存。 短暂的爆发并不能建立持续的速率。

使用代表性数据集并记录它是否已缓存。 避免仅仅为了产生基准而清除生产缓存。 不要对包含实时数据的原始设备运行写入测试。

检查协议和应用限制

SFTP、HTTPS、SMB 和备份软件做不同的工作。 加密、压缩、校验和、同步写入和每用户限制会影响吞吐量。

例如,一个大的顺序文件和一个包含数千个小文件的目录是不同的工作负载。 目录副本可能会花费大部分时间打开文件和更新元数据。

如果启用压缩,请将其 CPU 成本与数据的优势进行比较。 已经压缩的介质通常几乎没有进一步缩小尺寸的空间。 测试时将所需的加密和访问控制保持在适当的位置。

快速的 iPerf3 结果也不排除特定于协议的流量策略。 您的应用程序可能会使用测试中不同的端口、代理、隧道或目标。

第 5 步:检查每个内核的 CPU 使用情况

平均CPU使用可以隐藏瓶颈。 在多核服务器上,一个繁忙的核心可能会限制传输,而系统范围的百分比保持在低位。

在受影响的工作负载期间,运行:

mpstat -p 全部 1 5

pidstat -u 1 5

这些工具也来自 系统统计。 检查两个端点。

在单个内核上查找繁忙的应用程序工作人员、加密过程或高软中断处理。 在 VM 上,CPU 窃取时间可指示来宾等待主机 CPU 时间。

检查数据包处理和队列分布

NIC 可以在接收队列中分配传入流。 Linux 接收侧扩展和相关机制有助于跨 CPU 扩展工作。 结果取决于适配器、驱动程序、流量和配置。 那个 Linux 内核网络指南 解释这些关系。

检查支持的队列信息和卸载设置:

ethtool -l INTERFACE

ethtool -k INTERFACE

某些适配器不支持这些查询。 缺少的功能或命令错误本身并不能证明是错误的。

不要关闭每次卸载或将每个队列计数设置为最大值。 首先确定哪个 CPU 或队列过载。 然后选择适合硬件的更改并衡量其效果。

包大小和中间盒的帐户

当数据包较小时,相同的比特率每秒需要更多的数据包。 处理大量批量传输的服务器可能会在大量数据包的 VPN、游戏或代理工作负载中遇到困难。

防火墙、NAT、虚拟交换机、隧道和流量检查增加了应用程序和物理 NIC 之间的工作。 测试您的用户实际采用的路径。 VPN 之外的成功测试不会衡量加密的隧道容量。

第 6 步:检查 TCP 行为、损失和延迟

TCP 吞吐量部分取决于发送方等待回复时可以保持未确认的数据量。 更高的往返时间使这一点要求更高。 损失和有限的窗口也可以降低吞吐量。 ESNet 在其中描述了这些链接 TCP 性能指南.

在传输过程中检查活动 TCP 连接:

ss -ti

将输出与测试连接匹配。 根据内核和连接状态,它可以显示 RTT、拥塞-窗口信息和重传详细信息。

使用带宽延迟产品作为检查

带宽延迟产品以目标速率估计飞行中所需的数据量:

飞行中的字节数 = 每秒目标位 × 往返时间(以秒为单位) ÷ 8

对于 10Gbps 目标:

RTT 飞行中计算的数据
10 毫秒 12.5 MB
40毫秒 50 MB
100 毫秒 125 MB

这些是协议开销之前的小数计算。 它们不是将这些值分配给每个套接字缓冲区的指令。 应用行为、接收窗口限制、拥塞控制和操作系统内存管理也很重要。

仔细解释重传

在缓慢转移期间的不断增加的重新传输值得调查。 它们可以反映丢失的数据,但重新排序和虚假的重传可能会使画面复杂化。

可能的损失源包括拥塞、过载的接收器、防火墙和物理故障。 ESnet 的 丢包故障排除参考 涵盖这些原因。

将重传与接口计数器、CPU 使用和传输时间线进行比较。 重新传输总数无法识别负责的路由器或电缆。

还要比较空闲和负载下的延迟。 如果在转移填充连接时延迟攀升,则可能会建立队列。 更多的带宽或更大的缓冲区并不是每个队列问题的自动修复。

第 7 步:检查 MTU 和路由

最大传输单元或 MTU 设置接口可以发送的最大 IP 数据包,而无需相关的碎片行为。 隧道增加了标题,可以减少其内部流量的可用大小。

在症状合适时调查 MTU

MTU 故障在小请求工作但较大的传输停滞时值得检查,尤其是在 VPN、隧道或网络更改之后。

检查本地接口 MTU:

ip link show dev INTERFACE

如果可用,请使用 跟踪路径 收集路径信息:

跟踪路径 test_server_ip

过滤可以防止有用的回复。 失败的探测不足以证明 MTU 不匹配。

不要将 MTU 9000 设置为公共 Internet 路径作为一般速度修复程序。 巨型帧需要跨相关网段的支持。 对于隧道,检查其开销、内部 MTU 以及所需的 PATH-MTU 信号是否可以到达发送器。

如果您更改了管理连接的接口,请保持控制台访问和清除恢复方法可用。

比较路线而不指责第一个无声跳跃

有界的 MTR 报告可以帮助记录路线:

mtr -n -r -c 50 TEST_SERVER_IP

记录测试时间和协议。 默认诊断探头可能会接受与应用流量不同的处理。

中间路由器可以在正常转发流量时限制对探测的回复。 一跳中出现并在后续跳跃时消失的损失不会在该路由器上建立转发损失。 Cloudflare 的 地铁解释 显示了这种区别。

即使缺少目标回复也需要上下文。 将它们与应用程序失败、重传和端点行为进行比较。 尽可能从两端收集报告,因为返回路径可能不同。

要进行有用的路由比较,请保持工作负载和设置固定。 仅更改目的地或测试时间。 单个公共速度测试结果是弱证据,因为其端点负载和选定的路线可能会发生变化。

第 8 步:应用一种修复并重复原始测试

一个有用的校正解决了测量的极限。 它应该改善受影响的工作负载而不会产生另一个问题。

证据 可能的纠正措施 之后要测量什么
本地链接报告 1Gbps,预计 10Gbps 更正端口配置或不兼容的物理组件 链接速率、错误计数器和吞吐量
传输过程中物理错误计数器上升 让供应商检查电缆、光纤和交换机端口 相同负载期间的错误计数器更改
随着文件吞吐量下降,磁盘延迟上升 地址存储争用或存储设计 持续的应用程序传输速率和磁盘延迟
一名应用工作人员达到其 CPU 限制 查看支持的工作程序设置或 CPU 要求 每核使用和应用程序响应时间
主机随着数据包处理负载下降 查看队列、CPU 分布和受支持的驱动程序设置 丢弃、CPU 使用和数据包繁重的工作负载行为
只有一条远程路径表现不佳 与相关供应商共享可比测试 匹配时间到达受影响目的地的结果
记录在案的交通上限与观察到的天花板相匹配 根据需要调整政策或服务容量 修改后的津贴中的相同测试

在每次更改之前,保存当前配置并记录如何恢复。 一次更改一个变量。 如果结果恶化或无法改善,请在尝试另一个更改之前恢复以前的状态。

重复原始应用程序任务以及网络测试。 如果用户仍然面临下载缓慢或超时,更好的基准数字是不够的。

向托管服务提供商发送什么

明确的支持请求有助于团队重现问题并将其网络记录与您的网络记录进行比较。

使用此模板:

 

服务器标识符:

受影响的应用程序或协议:

问题开始时:

测试日期、时间和时区:

源地址和目标地址:

交通方向:

该预期的预期结果和基础:

观察结果和单位:

测试命令和工具版本:

单流和并行流结果:

附近和远程端点结果:

每核 CPU 观察:

存储观察:

测试期间的接口计数器更改:

TCP 或路线观测:

近期变化:

业务影响:

通过提供商的私人支持渠道发送诊断文件。 删除凭据、令牌和不相关的客户数据。 数据包捕获可以包含敏感信息,因此在收集或共享它们之前就它们的范围达成一致。

如果您使用 Atal Networks 进行托管,请在支持请求中包含这些详细信息。 如果测量结果表明您的工作负载需要不同的硬件或网络分配,请查看我们的 10Gbps 专用服务器选项 并与我们的团队讨论测量的要求。

常见问题

为什么我在 10Gbps 服务器上获得大约 1Gbps?

客户端连接、中间链路、流量策略或端点资源可能会限制传输。 检查链接速率,并将受控网络测试与实际应用进行比较。 接近 1Gbps 的结果本身并不识别限制组件。

10Gbps 服务器是否应该以 1,250 Mb/s 的速度传输文件?

该数字是开销前的原始位到字节转换。 实际文件吞吐量取决于协议、路径、存储、CPU 和接收系统。 为您的特定工作负载和测试条件设置验收目标。

为什么 iperf3 速度快,而 sftp 很慢?

SFTP 包括普通 iPerf3 测试无法复制的文件读取、写入、加密和应用程序处理。 检查复制期间磁盘延迟和每核 CPU 使用情况。 还要检查两个测试是否使用相同的路由和流量策略。

为什么并行连接会提高吞吐量?

多个流可以使用更多的处理资源,并避免影响一个流的极限。 他们也可以通过负载平衡设备采取不同的路径。 结果显示这些流的聚合性能,而不是每个连接可用的速度。

距离是否使 10Gbps 变得不可能?

距离增加延迟,这增加了飞行中维持目标速率所需的数据量。 损失、端点容量和 TCP 行为也很重要。 距离本身不是固定的吞吐量上限。

巨型帧会修复慢速 10Gbps 的连接吗?

仅在网络支持它们的地方考虑它们,并且测量证明了变化的合理性。 不一致的 MTU 会导致故障。 对于 Internet 流量,请在更改接口设置之前调查路径 MTU 和隧道开销。

MTR 数据包丢失是否证明我的提供商正在减少流量?

不会。路由器在正常转发应用流量时可能会限制诊断回复。 在分配原因之前,比较两个方向的后续跳跃、端点行为、重传和测试。

我应该在故障排除之前升级服务器吗?

先测量瓶颈。 更多的 CPU 可以帮助 CPU 绑定的工作负载,更快的存储可以帮助受存储的工作负载。 两者都无法修复缓慢的客户端连接或不相关的远程路径限制。

滚动至顶部
Seraphinite AcceleratorBannerText_Seraphinite Accelerator
Turns on site high speed to be attractive for people and search engines.