浪潮信息近日发布面向万亿参数大模型的超节点AI服务器“元脑SD200”,该产品基于多主机低延迟内存语义通信架构,通过开放系统设计聚合64路本土GPU芯片,实现单机运行超万亿参数大模型的能力。在DeepSeek R1和Kimi K2的全参推理测试中,64卡性能展现出超线性扩展特性,其中DeepSeek R1推理性能提升达3.7倍,Kimi K2提升1.7倍。
元脑SD200采用创新的三维网格系统架构,通过自主研发的开放总线交换技术实现64路GPU高速互连,并突破多主机交换域统一编址难题,显存统一地址空间扩增8倍,单机最大可提供4TB显存和64TB内存,为超长序列大模型提供充足键值缓存。其百纳秒级超低延迟链路构建的64卡互连域,在小数据包通信场景中全规约性能表现突出,显著优化计算与通信效率。
针对万亿参数模型的计算通信需求,该服务器搭载智能总线管理系统,支持全局最优路由自动创建及多拓扑切换,通过多层级通信机制等细粒度策略进一步降低通信延时。开放的PD分离框架则实现异步KV Cache高效传输与差异化并行策略,兼容多元算力并保持计算与通信架构的深度协同。
当前混合专家模型(MoE)架构推动大模型参数量快速突破万亿规模,元脑SD200的商用落地为多模型协同推理提供硬件基础,可支持Kimi K2、DeepSeek、Qwen等模型同时运行及多智能体实时调用。浪潮信息表示,该产品通过软硬协同创新突破芯片性能边界,将加速金融、科研等领域的AI规模化应用进程。
© 版权声明
文章版权归作者所有,未经允许请勿转载。