英伟达把 1200 亿参数多模态模型开源,还想塞进你的电脑

10 月 15 日,英伟达发布 Nemotron 3.5 系列开放模型:主打多模态的 Nemotron 3.5 Super VL,以及面向本地与边缘设备的 Nemotron 3.5 Bolt。其中 Super VL 与 Bolt 74B-A9B 24GB 当天可用,最小的 Bolt E4B 4GB 计划 10 月 23 日上线。据搜狐、钛媒体 10 月 17 日的报道,这是 Nemotron 家族第一次完整覆盖从大型服务器到本地 PC、再到边缘设备的所有部署层级。
一个模型干完两件事
Super VL 是 1200 亿总参数、每 token 激活约 120 亿的混合专家模型,定位是“长时间在线的专用智能体”。
它把推理、指令跟随、工具调用,和文本、图像、文档、视频的理解放进同一个模型。以前要搭一套语言模型加一套视觉模型,中间还得来回传上下文,现在一个模型内部就完成了。英伟达称,它的能力接近自家最大规模推理模型,但参数量只有后者的五分之一。
速度是它真正想讲的事
官方说法是:单张 GPU 上,Super VL 完成智能体任务的吞吐最高可达同尺寸开放模型的 5 倍;配合自家推理框架,整机延迟可降低约 85%。
这些数字来自厂商自测。但方向很清楚——它从 Nemotron 3 Ultra 蒸馏而来,叠了投机解码、低比特量化和量化感知蒸馏,属于典型的“用工程换成本”路线。
24GB 与 4GB:端侧才是重头戏
Bolt 74B-A9B 用原生 2 比特量化,把 740 亿总参数、90 亿激活的模型压进 24GB 显存,目标是能在 RTX 显卡和 DGX Spark 上边跑智能体边开别的软件。官方称它在同内存占用的开放模型里,一项工具调用基准排第一、一项检索基准排第二,并已支持 llama.cpp、Ollama、LM Studio、Unsloth、vLLM 等主流工具链。
更小的 Bolt E4B 只要 4GB 内存,面向 Jetson 这类设备,用途是语音助手、交互角色、嵌入式界面。
英伟达这次连模型权重、训练数据和复现说明一起公开。对想在自己机器上跑智能体的人来说,“数据可见”有时比“分数更高”更能说服合规部门。
榜单之外的另一面
钛媒体 10 月 17 日引述第三方测评提到,Super VL 在综合智能指数上只有 26 分,低于 GLM-5.3-Flash 的 42 分。这不矛盾:英伟达这次没有去争通用能力第一,它争的是“在企业自己的数据上后训练之后好不好用”。
围绕它已经形成一个不小的后训练生态:Scale AI 做了供应商信用审核和并购尽调智能体,AfterQuery 做金融文档分析,AI21 用于网络安全,Mercor 针对编码基准训练会规划、写码、调试的智能体;Atlassian、CrowdStrike、Salesforce、达索系统、Synopsys、Perplexity 等则把它接进自家产品。
该怎么理解这次发布
- 对企业:多了一个可以私有化部署、可以用自己数据改的多模态底座。
- 对开发者:端侧跑智能体从“能跑”往“能日常用”靠近了一步,但 24GB 显存仍是门槛。
- 对行业:开源模型的竞争,正从“谁的分数高”转向“谁更容易被改成能用的东西”。
需要提醒的是,英伟达公布的吞吐、延迟、基准排名均为厂商口径,第三方复现之前,别把 5 倍当成定论。







