结论前置:互联不是附属品,而是算力芯片的第二条性能曲线
训练卡追求的是大规模并行下的带宽密度与拓扑扩展能力,推理卡更在意确定性时延与单位功耗下的有效吞吐。看球吧技术解读栏目在梳理训练卡与推理卡的架构资料时发现,很多读者只盯算力和显存,却忽略了互联才是决定集群实际利用率的那条隐性曲线。两位长期做算力板卡的架构师——程砚舟与林阔——在一次公开技术分享中,把互联问题拆成了三个层次:芯片内、封装内、机架内。这一拆法值得借鉴。
需要说明的是,本文涉及的架构思路来自公开技术演讲与厂商公开规格书,具体数值均以公开文档为准;无法核验的环节标注为示例数据,不作为选型依据。看球吧只做结构化整理与术语解释,不提供未公开流片信息。
第一层:芯片内的互联,决定训练卡能不能“喂饱”计算单元
程砚舟的观点很直接:训练卡的瓶颈往往不在矩阵单元,而在数据搬运。他在分享中把片内互联比作城市主干道,计算单元是工厂,工厂再大,原料送不进去也白搭。
- 片上网络(NoC)的拓扑选择会直接影响多核协同时的拥塞分布,环形、网格与交叉开关各有适用区间。
- 高带宽存储的接口位宽与堆叠层数,是训练卡互联指标里最容易被误读的一项,位宽不等于实际可达带宽。
- 缓存一致性协议在训练卡上通常被简化处理,牺牲通用性换取确定性,这是与通用处理器的重要分野。
林阔补充说,推理卡的片内互联思路不同:它更愿意把带宽让给权重读取路径,减少不必要的广播流量。看球吧在整理推理卡架构资料时也注意到,推理场景的批处理规模波动大,互联设计要留出弹性,否则小批量请求会拖累整体时延。
第二层:封装内的互联,先进封装把“距离”变成了设计变量
两位架构师都认为,封装已经从后道工序变成了架构决策的一部分。程砚舟提到,当单芯片面积逼近掩模极限,把大芯片拆成多个芯粒再高密度互连,是训练卡继续扩展的现实路径。
- 硅中介层与重布线层提供的互连密度差异明显,选择哪一种要看芯粒之间的通信频次,而不是一味追求最先进方案。
- 芯粒划分要尽量沿着低通信量的边界切分,否则封装内互联的功耗会吃掉拆分带来的良率收益。
- 热与应力的耦合在封装内互联中不可回避,高密度布线区域往往是热点的起点。
林阔则提醒,推理卡的封装选择更看重成本与供货稳定性。他举了一个示例:某类边缘推理方案采用较为成熟的有机基板封装,互连密度不高,但胜在供应链成熟、交付节奏可控。看球吧认为,这类取舍在产业数据里往往比峰值参数更能反映真实落地能力。
第三层:机架内的互联,协议栈与拓扑共同决定集群效率
到了机架层面,训练卡与推理卡的分歧最明显。程砚舟说,训练集群倾向扁平化的大规模拓扑,配合高带宽的片间互联协议,把通信延迟压到与计算时间同一量级;推理集群则更常采用分层拓扑,把请求调度与权重分发分开处理。
- 互联协议栈的分层设计决定了故障域大小,训练卡通常愿意用更激进的聚合策略换取带宽。
- 推理卡更关注尾时延,协议栈里的重传与拥塞控制参数需要按业务形态调优,而不是照搬训练集群配置。
- 多卡互联的拓扑感知调度,是集群实际利用率的关键变量,软件栈的成熟度往往比硬件参数更影响体验。
两位架构师都强调,互联指标要放在具体拓扑和软件栈里看才有意义。单卡标称互联带宽再高,如果调度层无法把通信与计算重叠起来,实际收益会大打折扣。看球吧技术解读栏目后续会继续围绕训练卡与推理卡的封装、制程与互联展开,用术语说明加来源标注的方式,帮读者建立可比较的认知框架。
在整理这些内容时,看球吧坚持一条原则:只引用公开规格书、行业组织白皮书与公开技术演讲,不推测未公开路线图。读者若想系统对比训练卡与推理卡的互联差异,可以结合本站的术语百科与方案对比栏目一起看,先建立指标口径,再谈选型。
片内互联那段说到点子上了,很多人只看算力数字,实际跑起来通信一堵全白搭。
封装那层讲得比较克制,芯粒切分确实要沿低通信边界走,切错了功耗很难看。
推理卡的尾时延问题太真实了,批量一小就露馅,协议栈参数真不能照搬训练集群。
希望后面能专门讲讲拓扑感知调度,软件栈这块比硬件参数更影响实际体验。
术语解释加来源标注这个做法好,至少知道哪些是公开信息,哪些只能当示例看。