【TechWeb】9月14日消息，近日，中科曙光正式发布Token加速技术体系，以scaleFabric原生无损RDMA为核心网络传输底座，构建“算—存—传”三级紧耦合的Token加速超级通道。支持GPU直通网络的IBGDA技术实现国内首次规模化落地。

　　据介绍，scaleFabric单跳转发时延低至260纳秒，网卡端到端时延低于1微秒，与英伟达NDR持平；在部分场景的三跳基准时延性能测试中，端到端时延较主流RoCE方案降低约63%。

　　中科曙光高速网络互联产品部总工程师万伟、中科曙光北京公司scaleFabric产品经理纵瑞博围绕Token效率瓶颈、scaleFabric技术体系及IBGDA规模化应用等话题进行了深入解读。

　　“现在的大模型基本都基于Transformer架构，按Token进行处理。Token是当前AI Factory最重要的产出，也是衡量AI效能和经济效益的重要指标。”万伟开门见山。

　　随着模型规模越来越大，单块GPU已难以容纳完整模型，必须通过模型并行等方式，依托大型AI集群开展推理。在分布式Token生成过程中，Token相关数据需要在不同GPU之间传递。同时，每个Token的生成都需要较高算力，行业出现“以存代算”趋势，中间已生成的数据即KV Cache可以暂时保存下来供后续复用，存储因此成为AI Factory中非常重要的系统。

　　万伟指出，训练阶段的目标是生成模型权重，网络需要提供大量集合通信操作，包括All-Reduce、All-to-All等，以便在多个GPU之间同步梯度数据。训练中的通信是同步操作，一块GPU稍慢，其他计算卡都要等待，因此对时延非常敏感。任何异常时延增加，都可能降低MFU，即模型计算利用率。

　　推理阶段通常分为Prefill和Decode，并在两阶段之间传递KV Cache。Prefill阶段需要大量计算，生成KV Cache后交给Decode完成解码。采用PD分离架构时，需要依靠大量网络通信完成资源和数据传递。“我们目前基本基于scaleFabric网络完成这部分工作，通信效率是其中非常重要的一环。”万伟说。

　　这些因素直接影响首Token时延（TTFT）和每个输出Token的生成时延（TPOT），而网络通信往往是重要瓶颈。存储同样关键，推理过程中需要把中间Token对应的KV Cache保存下来，产生大量访存操作，分布式存储对网络提出很高要求。

　　“算力不等于产出。如何打通算存传的数据流转堵点，让硬件算力真正转化为模型的实际输出能力，已经成为亟待解决的现实难题。”万伟表示，中科曙光基于scaleFabric的Token加速技术体系，正是瞄准这一行业痛点打造的全链路解决方案。

　　据介绍，scaleFabric通过构建“算存传”三级紧耦合的Token加速通道，在网络层面和计算、存储紧密协同，加速Token吞吐效率，实现Token在大模型训练、推理到存储复用全链路的高速流转。

　　在计算环节，GDR允许网卡直接读写GPU显存，绕过CPU内存中转。万伟介绍，scaleFabric原生支持GPUDirect RDMA，这是一项基础能力，相当于让网卡直接读写GPU显存，绕过传统路径中由CPU内存中转的一次数据拷贝。而IBGDA则进一步将通信控制交给GPU，使GPU能够直接驱动网卡并管理数据传输，彻底消除传统路径中CPU在协调通信时产生的延迟和瓶颈，让GPU集群间的通信，尤其是高频、小包场景，变得更加高效和可扩展。

　　“即使采用GDR，虽然数据面绕过了CPU内存，但通信任务的下发和相关元数据处理仍然需要CPU参与。RDMA通信可以分为控制面和数据面，传统GDR主要优化了数据面。IBGDA则进一步把通信控制和数据处理都放到GPU上完成，使GPU Kernel能够直接驱动网卡。”万伟解释道。

　　在存储环节，scaleFabric围绕Token的存储访问瓶颈，构建了完整的存储直通技术体系。NVMe over RDMA、XDS和NFS over RDMA三项技术，分别用于加快远端NVMe存储访问、支持GPU直接访问远端存储，以及提升传统文件存储的传输效率，共同打造存储与算力之间的高速网络通道。

　　万伟向TechWeb表示：“三项技术是紧密耦合、协同工作的关系。三项技术会根据场景配合使用，也可以在同一个场景中同时使用”。例如，训练数据顺序加载及Checkpoint读写通常使用NFS over RDMA，热点数据可采用NVMe over RDMA，KV Cache卸载和相关数据读写可通过XDS让GPU直接访问远端数据。

　　在网络环节，多级网络转发的时延成为影响Token流转效率的重要因素。在典型两层组网中，数据从源端到目标端通常需要经过“接入、汇聚、接入”三跳，网络时延也会随转发层级增加而累积。目前，scaleFabric单跳转发时延低至260纳秒，网卡端到端时延低于1微秒，在部分场景的三跳基准时延性能测试中，端到端时延较主流RoCE方案降低约63%，有效减少多级网络交换带来的时延累积。

　　万伟表示，在万卡级分布式训练中，网络通信耗时已占整体任务时间的30%至50%。较低的三跳时延可以减少数据在多级网络中的传输耗时，使IBGDA和存储直通带来的路径优化进一步延伸至大规模集群，推动计算、存储和网络共同提升Token生成效率。

　　万伟表示，当前主流大模型广泛采用MoE架构，以DeepSeek为例，它通过DeepEP等方式进行专家并行通信，并使用NVSHMEM支撑大规模MoE All-to-All通信。在这一场景中，会产生大量高频并发的小消息，scaleFabric的IBGDA能够很好地满足这类通信需求。“MoE通信改善后，集群推理性能自然会得到提升，TTFT和TPOT等指标也会相应改善。”

　　此前，IBGDA的规模化落地始终由国际厂商主导，国产RDMA网卡与GPU直通的落地案例极为罕见。依托scaleFabric原生RDMA无损高速网络，中科曙光自研IBGDA技术已在十万卡级大规模集群中完成验证，实现了这一领域的关键补位。目前，scaleFabric已完成与DeepEP等通信框架的适配，推动IBGDA融入现有应用环境。

　　对于改造成本，万伟表示，IBGDA是一项软件技术，在部分国产生态和NVIDIA生态中已完成适配，用户启用支持IBGDA的通信库即可。纵瑞博补充道：“对于上层应用来说，这一能力是无感的。只要基于DeepEP框架，就不需要修改业务代码或上层框架，可以直接运行。”

　　从产业层面看，IBGDA规模化落地对国产AI计算基础设施的自主迭代和性能升级意义重大。万伟坦言，国产算力卡与国外产品单卡算力仍有差距。在这种情况下，国内AI基础设施的重要发展方向是通过系统级创新提升整体性能，依靠集群和多卡互联，通过增加计算卡数量、改善多卡通信效率，满足大模型发展所需的算力要求。

　　纵瑞博表示，在AI生态方面，中科曙光采用开放架构，后续希望让scaleFabric网络与更多国产厂商的产品完成适配和优化，在RoCE和NVIDIA InfiniBand之外，为产业提供高性价比的国产原生无损RDMA网络方案，为各类GPU、CPU及其他硬件厂商提供技术支撑。

　　面向未来，万伟透露，scaleFabric后续最基础的演进方向是向更高带宽和更高交换容量发展，下一代将推出800G网络产品和网卡，同时支持更高的交换容量。技术方面还会支持多平面、包喷洒和乱序重组等能力，并优化拥塞控制、故障自愈和负载均衡。随着IBGDA进入规模化部署阶段，基于scaleFabric的Token加速技术体系有望进一步提升多卡之间的数据交换效率，为MoE等模型提供新的国产高速互连选择，也为国产智算基础设施通过系统优化提升整体性能提供有力支撑。

　　每日头条、业界资讯、热点资讯、八卦爆料，全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与，TechWeb官方微博期待您的关注。

　　GPT-6的Astra能控机械臂却叠不好衣服？四位大佬回应具身智能争议

　　iPhone 18 Pro发布后，苹果旧款不降反涨：iPhone 17全系上调800元

　　李开复彭博社专访：中国AI以“六个月差距”挑战美国，开源模型将赢得全球覆盖战

　　GPT-6 Astra正式发布：OpenAI宣告“欢迎来到AGI时代”

　　大模型竞争进入深水区，中科曙光用scaleFabric破解Token效率难题

　　百家号APP 9月22日更名为「百度直播伴侣」，创作功能整合至百度APP

　　英矽智能主席Zavoronkovs增持11.35万股 持股投票权约8.02%

　　iPhone 18 Pro系列开售秒售罄：官网被挤崩，第三方最高溢价3000元