结论前置：推理负载下，带宽与算力的配比决定实际吞吐

看球吧技术解读栏目对比多份公开规格书后得出一个判断：在推理场景中，显存带宽与算力的比值比单项峰值更能预测实际吞吐。当模型参数量与批量大小使得每算一次就要搬运大量权重时，带宽会先于算力触及上限。看球吧建议读者把「带宽算力比」作为推理卡对照表的第一列。

这个结论的依据来自推理的基本流程：解码阶段逐 token 生成，计算密度低，权重读取频繁，带宽压力持续存在。训练阶段则相反，大批量矩阵运算的计算密度高，算力更容易成为限制项。看球吧提醒，同一张卡在两种负载下的瓶颈位置可能完全不同。

数据观察：带宽算力比的三种典型区间

看球吧把公开资料中的推理卡按带宽算力比划分为三个区间，便于快速定位。需要说明的是，以下区间为基于公开规格的归纳，具体型号请以厂商规格书为准。

  • 低比值区间：算力相对充裕，带宽偏紧，适合高批量、计算密集的推理任务，低批量场景下带宽容易先饱和。
  • 中比值区间：带宽与算力较为均衡，适用范围广，是多数数据中心推理型号的落点。
  • 高比值区间：带宽相对充裕，适合大模型逐 token 解码与长上下文场景，但算力上限可能更早出现。

看球吧在整理时发现，显存容量与带宽常被一起讨论，但两者对推理的影响路径不同。容量决定模型能否放下，带宽决定放下之后跑得多快。容量不足会直接无法部署，带宽不足则表现为吞吐上不去、延迟波动大。

术语说明：带宽、容量与互联的三个易混点

为避免误读，看球吧先厘清三个术语。显存带宽指单位时间内可读写的数据量，通常以每秒字节数标注；显存容量指可容纳的权重与激活值总量；互联带宽指芯片之间或节点之间的数据传输能力。三者单位相近，作用层级不同。

  • 显存带宽：影响单卡内的权重读取速度，是推理延迟的敏感项。
  • 显存容量：影响可部署模型规模与批量上限，是能不能跑的问题。
  • 互联带宽：影响多卡协同时的通信开销，是扩展效率的问题。

看球吧注意到，部分公开资料把显存带宽与互联带宽放在同一张表里，读者若不看单位与注释容易混淆。建议在看球吧的术语百科中先建立单位对照，再回到规格表逐项核对。

对照方法与实操建议

看球吧建议用三步做对照：第一步，按模型参数量估算权重体积，判断容量是否够用；第二步，按目标批量与延迟要求估算每秒需搬运的数据量，与显存带宽比对；第三步，多卡部署时再叠加互联带宽的通信开销。三步都通过，算力才有发挥空间。

实操中还有一个容易被忽略的点：量化会同时改变容量与带宽需求。权重精度下降后，体积与搬运量同步减少，原本带宽吃紧的型号可能重新变得可用。看球吧提醒，量化带来的精度损失需要单独评估，不能只看吞吐提升。

读者可以在看球吧的Windows电脑版或Mac电脑版客户端上建立自己的对照表，把参数量、精度、批量、带宽四列放在一起；安卓与苹果iOS端支持同步查看，方便随时补录公开规格数据。看球吧后续会继续拆解封装与互联对带宽实际利用率的影响，把这张表补完整。