手机能跑的3B推理模型开源,比Qwen 3-4B还快,超长上下文不降速

智东西
Oct 09, 2025

作者 | 李水青

编辑 | 心缘

智东西10月9日报道,昨日,以色列AI创企AI21 Labs开源轻量级推理模型Jamba Reasoning 3B。该模型有30亿个参数,可在包括手机、电脑在内的多种设备端运行,性能超过Qwen3-4B、Gemma 3-4B等业界顶尖模型。

Jamba Reasoning 3B开源截图

Hugging Face地址: http://huggingface.co/ai21labs/AI21-Jamba-Reasoning-3B

A21称,Jamba Reasoning 3B基于其新的SSM-Transformer架构构建,上下文窗口长度为256K个token,能够处理高达1M token,与DeepSeek、谷歌、Llama和微软等竞争对手相比效率提升了2-5倍,在基准测试中取得领先成绩。

Jamba Reasoning 3B在人类最后测试等测评中超Qwen 3-4B等模型

其将Jamba Reasoning 3B的优势总结为三点:

1、智能性能不下降:由于采用了混合SSM-Transformer架构,Jamba Reasoning 3B比纯Transformer模型更高效。

大多数基于Transformer的模型在上下文长度超过32K个token时性能会显著下降,而Jamba Reasoning 3B能够处理更长的上下文长度,包括高达100万个token。这使得它在高级智能体系统或多模态应用中非常有用,因为长上下文理解对输出质量至关重要。

Jamba Reasoning 3B的性能虽上下文增长损耗小

2、领先的智能:Jamba Reasoning 3B的表现优于DeepSeek、谷歌Meta和微软的其他设备端模型。

它在指令跟踪任务(IFBench)和常识性知识(MMLU-Pro和Humanity’s Last Exam)方面尤为出色,这使得Jamba Reasoning 3B成为一款高效且智能的模型,可用于高级智能体工作流程或设备端RAG应用。

这些成果源于训练后流程,A21将RLVR、SFT、DPO和GRPO等对齐训练技术与自主研发的专有方法相结合,以确保模型质量。

Jamba Reasoning 3B测评超阿里、谷歌等模型

3、专为设备安全使用而构建:此模型获得Apache 2.0许可,可直接下载到用户的计算机或手机上,并使用用户自己的文件在设备上进行定制,以实现完全安全的应用程序,即使断网它们也可以继续运行

Jamba Reasoning 3B的混合SSM-Transformer架构成功利用了比原始Transformer架构小8倍的键值缓存 (KV),即使在上下文增长的情况下也能保持较低的内存占用。

在M3 MacBook Pro上,它每秒可以生成40个token,上下文长度为32K,这一成绩优于Qwen3-4B、DeepSeek Distill Qwen 1.5B、Gemma 3-4B等模型,使其成为高级智能体应用程序中的精简组件。

在M3 MacBook Pro上每秒可以生成40个token

该模型目前支持的语言包括:英语、西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语。

结语:轻量模型加速迭代,开辟智能体落地新路径

随着企业将AI融入运营,基于云端的大型语言模型暴露出经济效率低下的问题。A21援引研究报告称,40%-70%的AI任务可以通过小型语言模型处理,通过智能路由将成本降低10-30倍。

像Jamba Reasoning 3B这样的设备端轻量模型能够实现经济高效的异构计算分配,在本地处理简单任务,同时保留云端资源用于复杂推理。这为制造业和医疗保健领域的实时应用提供了低延迟,为远程操作提供了离线恢复能力,并增强了数据隐私保护,有望开启了一个去中心化的AI时代。

Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

Most Discussed

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10