智猩猩公开课出品
策划:家祥
随着大模型参数规模呈指数级增长,超节点已成为突破单点算力极限的核心形态。
互联系统作为超节点的“核心动脉”,其传输效率直接决定了大模型训练与推理的性能上限。因此,如何构建低延迟、高带宽、语义无损的Scale-up互联架构,是挖掘超节点潜能、释放千亿参数算力的关键所在。传统互联架构受限于PCIe带宽瓶颈或通用网络的多跳延迟,难以满足万亿参数大模型对海量内存一致性与高频通信的严苛需求。此外,传统计算体系在处理跨芯片协同时,往往面临编程模型复杂、数据搬运开销高昂等问题,进而导致计算资源利用率偏低。
在此背景下,面向超节点的新型Scale-up互联技术应运而生。Scale-up 互联系统通过专用的高带宽互联协议与拓扑优化,打破了单机算力与内存的物理边界,实现了计算单元之间的高带宽、低延迟、可扩展的数据交换与任务协同,为大模型的训练与推理提供了极致的通信性能与并行效率。
3月5日19点,2026智猩猩公开课Live第2期将开讲,由南京大学计算机学院副教授、博士生导师郑嘉琦主讲,主题为《超节点Scale-up互联系统》。
郑教授首先会对超节点进行简要概述,之后将从架构范式与互联形态、通信机制与语义模型、并行计算与算子映射、存储协同与训练推理四个方面进行系统讲解。