华为发布新一代昇腾AI云服务，CloudMatrix384超节点架构引领AI算力新纪元

在6月20日举行的华为开发者大会2025（HDC 2025）上，华为常务董事、华为云计算CEO张平安正式宣布基于CloudMatrix384超节点的新一代昇腾AI云服务全面上线。这一突破性技术旨在应对大模型训练和推理对算力需求的爆炸式增长，解决传统计算架构难以支撑AI技术代际跃迁的挑战。

华为云新一代昇腾AI云服务采用创新的CloudMatrix384超节点架构，首次实现384颗昇腾NPU和192颗鲲鹏CPU通过全新高速网络MatrixLink全对等互联，构建出一台超级”AI服务器”。该架构使单卡推理吞吐量跃升至2300 Tokens/s，显著提升了计算效率。特别值得注意的是，超节点架构能够更好地支持混合专家（MoE）大模型的推理，实现”一卡一专家”的并行处理模式，单个超节点可支持384个专家同时进行推理任务。

在资源利用方面，该服务支持”一卡一算力任务”的灵活分配机制，通过优化任务并行处理和减少等待时间，将算力有效使用率（MFU）提升50%以上。对于超大规模模型训练需求，云数据中心可将432个超节点级联，形成最高达16万卡的超级计算集群。同时，该架构还支持训练与推理算力的一体化部署，如”日推夜训”模式，实现计算资源的动态优化配置。

华为云表示，昇腾AI云服务已获得全球1300多家客户的支持。新浪基于该服务构建了”智慧小浪”智能服务体系的统一推理平台，实现推理交付效率提升50%以上，模型上线速度成倍加快。中科院则利用CloudMatrix384超节点开发了自主的模型训练框架，成功构建AI for Science科研大模型，摆脱了对国外高性能AI算力平台的依赖。

张平安强调：”正是全球客户、伙伴和开发者对华为的坚定信任，才让昇腾能够构筑起一个比肩巅峰、开创未来的AI算力底座。”此次发布的昇腾AI云服务标志着华为在AI基础设施领域的重要突破，将为人工智能技术的发展提供强有力的算力支撑。