英伟达GB200 NVL72 AI服务器性能突破:MoE模型测试性能提升10倍,引领AI计算新纪元

英伟达近日发布的GB200 NVL72 AI服务器混合专家模型MoE)测试中展现出突破性性能,较上一代Hopper HGX 200提升达10倍。这一进展基于科技媒体Wccftech对开源大语言模型Kimi K2 Thinking、Deepseek-R1-0528及Mistral Large 3的测试结果,凸显了英伟达在AI计算领域的持续领先地位。

混合专家模型作为当前前沿AI架构的核心,通过动态激活特定参数子集显著提升效率,但大规模扩展时易遭遇性能瓶颈。GB200 NVL72采用协同设计策略,整合72颗Blackwell GPU、30TB快速共享内存、第二代Transformer引擎及第五代NVLink技术(带宽达130TB/s),实现1.4 exaflops的AI算力。系统通过动态拆分Token批次并优化GPU间通信,将专家并行计算效率提升至新高度。

软件层面,NVIDIA Dynamo框架实现预填充与解码任务解耦,配合NVFP4数据格式在保持精度前提下提升吞吐量。行业分析指出,该技术突破直接应对了MoE模型在扩展中的计算瓶颈,对降低AI部署成本具有战略意义。目前Artificial Analysis榜单前十的开源模型均已采用MoE架构,英伟达此次性能飞跃或进一步巩固其在大模型基础设施领域的主导地位。

© 版权声明

相关文章