IBM与Groq达成战略合作,通过Watson x Orchestrate提供高速AI推理服务 IBM与Groq达成战略合作,通过Watson x Orchestrate平台提供GroqCloud的高速AI推理服务,降低企业AI部署成本,提升金融、医疗等领域的实时推理效率。预计2026年推出集成... AI产品动态# AI推理# Groq# GroqCloud 4个月前
华为开源UCM推理记忆数据管理技术,AI推理性能大幅提升 华为开源UCM推理记忆数据管理技术,通过稀疏化模块和KV Cache优化,实现首Token时延降低90%、吞吐量提升22倍,推动AI推理高效低成本发展。 AI新闻资讯# AI推理# KVCache# ModelEngine 3个月前
微软Azure与英伟达Blackwell Ultra GPU实现每秒110万token AI推理新纪录 微软Azure与英伟达合作推出基于Blackwell Ultra GPU的虚拟机,在Llama2 70B模型上实现每秒110万token推理速度,性能提升27%,能效优化2.5倍,为企业级AI部署设立... AI产品动态# AI推理# BlackwellUltra# Llama2 3个月前
英伟达CEO盛赞DeepSeek-R1模型:中国AI技术的全球突破与开源革命 英伟达CEO黄仁勋公开称赞中国DeepSeek-R1模型的技术突破与开源价值,该模型通过混合专家架构和思维链技术实现高效推理,正在重塑全球AI产业生态。 AI新闻资讯# AI推理# DeepSeek# 人工智能 7个月前
Fireworks AI完成2.54亿美元C轮融资,估值达40亿美元,加速AI推理技术布局 人工智能推理初创公司Fireworks AI完成2.54亿美元C轮融资,估值达40亿美元。了解其独特的轻资产模式和speculative inference技术如何推动AI推理市场发展,以及融资资金将... AI新闻资讯# AI技术# AI推理# FireworksAI 3个月前
AMD收购MK1强化AI推理技术,挑战英伟达市场地位 AMD完成对MK1的收购,专注于AI推理技术优化,通过内存算法和FP8/FP4精度降低20%系统成本,提升25%推理效率,直接挑战英伟达Blackwell系列,预计2026年市场份额升至30%。 AI新闻资讯# AI加速器# AI推理# AMD 3个月前