当前位置:首页 > AI资讯

英伟达把 1200 亿参数多模态模型开源,还想塞进你的电脑

xinhack3周前 (10-18)AI资讯79

英伟达把 1200 亿参数多模态模型开源,还想塞进你的电脑 AI资讯

10 月 15 日,英伟达发布 Nemotron 3.5 系列开放模型:主打多模态的 Nemotron 3.5 Super VL,以及面向本地与边缘设备的 Nemotron 3.5 Bolt。其中 Super VL 与 Bolt 74B-A9B 24GB 当天可用,最小的 Bolt E4B 4GB 计划 10 月 23 日上线。据搜狐、钛媒体 10 月 17 日的报道,这是 Nemotron 家族第一次完整覆盖从大型服务器到本地 PC、再到边缘设备的所有部署层级。

一个模型干完两件事

Super VL 是 1200 亿总参数、每 token 激活约 120 亿的混合专家模型,定位是“长时间在线的专用智能体”。

它把推理、指令跟随、工具调用,和文本、图像、文档、视频的理解放进同一个模型。以前要搭一套语言模型加一套视觉模型,中间还得来回传上下文,现在一个模型内部就完成了。英伟达称,它的能力接近自家最大规模推理模型,但参数量只有后者的五分之一。

速度是它真正想讲的事

官方说法是:单张 GPU 上,Super VL 完成智能体任务的吞吐最高可达同尺寸开放模型的 5 倍;配合自家推理框架,整机延迟可降低约 85%。

这些数字来自厂商自测。但方向很清楚——它从 Nemotron 3 Ultra 蒸馏而来,叠了投机解码、低比特量化和量化感知蒸馏,属于典型的“用工程换成本”路线。

24GB 与 4GB:端侧才是重头戏

Bolt 74B-A9B 用原生 2 比特量化,把 740 亿总参数、90 亿激活的模型压进 24GB 显存,目标是能在 RTX 显卡和 DGX Spark 上边跑智能体边开别的软件。官方称它在同内存占用的开放模型里,一项工具调用基准排第一、一项检索基准排第二,并已支持 llama.cpp、Ollama、LM Studio、Unsloth、vLLM 等主流工具链。

更小的 Bolt E4B 只要 4GB 内存,面向 Jetson 这类设备,用途是语音助手、交互角色、嵌入式界面。

英伟达这次连模型权重、训练数据和复现说明一起公开。对想在自己机器上跑智能体的人来说,“数据可见”有时比“分数更高”更能说服合规部门。

榜单之外的另一面

钛媒体 10 月 17 日引述第三方测评提到,Super VL 在综合智能指数上只有 26 分,低于 GLM-5.3-Flash 的 42 分。这不矛盾:英伟达这次没有去争通用能力第一,它争的是“在企业自己的数据上后训练之后好不好用”。

围绕它已经形成一个不小的后训练生态:Scale AI 做了供应商信用审核和并购尽调智能体,AfterQuery 做金融文档分析,AI21 用于网络安全,Mercor 针对编码基准训练会规划、写码、调试的智能体;Atlassian、CrowdStrike、Salesforce、达索系统、Synopsys、Perplexity 等则把它接进自家产品。

该怎么理解这次发布

  • 对企业:多了一个可以私有化部署、可以用自己数据改的多模态底座。
  • 对开发者:端侧跑智能体从“能跑”往“能日常用”靠近了一步,但 24GB 显存仍是门槛。
  • 对行业:开源模型的竞争,正从“谁的分数高”转向“谁更容易被改成能用的东西”。

需要提醒的是,英伟达公布的吞吐、延迟、基准排名均为厂商口径,第三方复现之前,别把 5 倍当成定论。

相关文章

美国三部门发布智能体事故指南:10 项实践,没有一条是硬要求

美国三部门发布智能体事故指南:10 项实践,没有一条是硬要求

10 月 16 日,NIST、NSA 与 CISA 联合发布前沿智能体的事故准备与响应指南,10 项自愿实践、50 条编号条目,没有截止时间,也没有强制措辞。这篇讲清它管什么、为什么现在出、以及企业该…

Kling 4 发布说明公开:30 秒、10 个关键帧、多模态参考

Kling 4 发布说明公开:30 秒、10 个关键帧、多模态参考

10 月 18 日,Kling AI 放出 Kling 4 的发布说明与用户指南,写明视频最长 30 秒、支持 10 个关键帧与图文音多模态参考。这篇讲清它的能力边界和适合谁用。…

上海记忆张量开源 MemT-1.0,记忆原生大模型让 AI 会积累

上海记忆张量开源 MemT-1.0,记忆原生大模型让 AI 会积累

10 月 20 日,上海记忆张量团队发布并开源记忆原生模型 MemT-1.0 系列,把可更新的内部记忆纳入模型计算。这篇讲清它和“长上下文”有何不同,以及实测数字说明了什么。…

Inception 推出 Mercury 3 扩散语言模型,速度破千 token/秒

Inception 推出 Mercury 3 扩散语言模型,速度破千 token/秒

10 月 20 日,Inception 推出 Mercury 3 扩散语言模型,宣称速度破千 token/秒、支持百万上下文。这篇讲清扩散路线是什么,以及“破千速度”该怎么理性看待。…

Meta 披露 Prometheus 超级集群,目标百万块 GPU

Meta 披露 Prometheus 超级集群,目标百万块 GPU

10 月 20 日,Meta 披露俄亥俄州 Prometheus 超级集群细节,最终将容纳约 100 万块 GPU。这篇讲清百万级 GPU 意味着什么,以及它和 Muse Wonder 的关系。…

英伟达GTC柏林亮出AI工厂蓝图:预制数据中心14天上线

英伟达GTC柏林亮出AI工厂蓝图:预制数据中心14天上线

10月21日英伟达GTC大会首次落地柏林,黄仁勋系统发布AI工厂全栈架构。本文拆解DSX POD预制集装箱方案如何把AI数据中心部署从数月压到14天,以及配套的开源模型与智能体安全工具。…

OpenAI 牵手谷歌云,GPT 系列登陆 Model Garden

OpenAI 牵手谷歌云,GPT 系列登陆 Model Garden

10 月 21 日至 22 日多家媒体报道,OpenAI 与谷歌云达成合作,GPT 系列模型将进入 Google Cloud 的 Model Garden。本文看这笔合作如何重塑云生态,以及它对企业分…

OpenAI 用 GPT-5.6 揪出 PHP 严重漏洞,全球紧急打补丁

OpenAI 用 GPT-5.6 揪出 PHP 严重漏洞,全球紧急打补丁

10 月 21 日 OpenAI 公布 Patch the Planet 行动:GPT-5.6 Sol 在攻击者之前发现 PHP 严重漏洞。本文看 AI 如何从「写代码」走向「修代码、护基础设施」。…