AI21 Labs开源Jamba Reasoning 3B:首款支持手机端运行的商业级开源大模型

以色列AI21 Labs近日宣布开源其30亿参数规模的Jamba Reasoning 3B模型,该模型采用SSM-Transformer混合架构,专为移动端部署优化。作为首个支持手机端运行的商业级开源大模型,其技术突破主要体现在推理效率与资源消耗的平衡上。

技术细节显示,Jamba通过专家混合模型(MoE)架构实现参数动态激活,在520亿总参数中仅需保持120亿参数处于活跃状态。与同类开源模型Mixtral 8x7B相比,其吞吐量提升达3倍,同时显著降低内存占用。这种设计使得模型在保持推理性能的前提下,大幅降低了对移动设备算力的需求。

AI21 Labs由斯坦福大学名誉教授Yoav Shoham、希伯来大学学者Ori Goshen及Mobileye创始人Amnon Shashua于2017年联合创立。该公司在2023年完成2.08亿美元融资后,总融资额已达3.26亿美元。此前推出的Jurassic-2系列大语言模型已包含多种参数规格,此次开源的Jamba Reasoning 3B是其技术路线的最新延伸。

该模型的发布标志着商业大模型向轻量化、终端侧部署迈出关键一步,为移动端AI应用开发提供了新的基础设施选择。行业观察人士指出,这种兼顾性能与效率的架构设计,可能重塑边缘计算场景下的大模型应用格局。

© 版权声明

相关文章