当前位置:首页 > AI资讯

百度开源文心5.5 Flash基座:预训练权重随便改

xinhack3天前AI资讯16

百度开源文心5.5 Flash基座:预训练权重随便改 AI资讯

结论先撂这儿:百度这回把文心大模型的地基开源了,型号 ERNIE-5.5-Flash-Base,2800亿参数的稀疏 MoE,每 token 只激活 140亿,在 33.5万亿 tokens 上从零训出来,还给了 FP8 和 BF16 两种权重。说白了,它不替你做对齐、不替你做后训练,就给你一块干净的预训练骨架,你爱往哪训往哪训。这对想自己攒垂直模型的小厂和高校,是真金白银的省事儿。

这玩意儿到底是啥,跟普通开源模型差在哪儿

咱就说,过去大厂开源,多半开个成品——对齐好了、能聊能答。百度这回开的是毛坯房:只放出预训练 checkpoint,没做指令微调、也没做 RLHF。总参数 2800亿,激活 140亿,长上下文原生 128K,微调推理能拉到 1M。配套 vLLM、SGLang 都能直接跑,Megatron-Bridge 拿来接着训。

老程序员视角看,这路子熟——早年搞开源框架也是先给内核,应用层你自己缝。好处是灵活,坏处是门槛高,小白拿到手大概率一脸懵。

它为啥敢这么开,图啥

要我说啊,百度这步棋不单纯是做公益。文心大模型家族底下早有一堆落地业务,把基座开源,等于拉一波开发者生态,等你基于它做出东西,推理、部署大概率还是回百度云。这叫放鱼苗、养鱼塘,比硬广高明。

再一个,稀疏 MoE 开源出来,行业能拿它做 benchmark,反向给百度背书。一石二鸟,算盘打得响。

普通人跟它有啥关系

咱普通读者别被参数吓着。这模型你手机上点不开,它是给工程师用的原料。但间接关系有:哪天你用的某个国产 AI 应用突然变聪明还变便宜了,背后可能就站着这类开源基座。开源越多,卷得越狠,最后受益的是掏钱的咱们。

老炮几点提醒,别上头

第一,它只是基座,没对齐,直接拿去当聊天机器人用会胡说八道,得自己补后训练。第二,硬件不便宜,2800亿模型全精度加载,没几张卡顶不住。第三,开源许可要看清,权重能商用不、有啥限制,上线前一定啃一遍条款,别等律师找上门。

我当年带队也犯过拿来就能用的错觉,结果踩了一脚泥——开源是好事,但免费和能用之间,差着仨通宵的活儿。

跟 GLM、Qwen 开源比,它差在定位

有人问,开源大模型不是一个接一个吗,百度这回有啥稀奇。稀奇在定位:Qwen、GLM 那批开源,多半开的是对齐好的对话模型,你拿来就能聊;百度这回开的是预训练骨架,毛坯房,得自己装修。要我说,这反倒更实在——垂直模型最怕被通用对齐带偏,从干净骨架训起,方向自己说了算。

当然门槛也高。小团队得有会训练的人,不然拿到手也是压箱底。但生态逻辑清楚:百度用开源换开发者黏性,你基于它做出来东西,推理部署大概率回百度云,鱼塘就养起来了。

常见问题

问:文心大模型这个开源版,我能直接拿来聊天吗?

答:够呛。它只放了预训练骨架,没做对齐和后训练,直接聊会乱答。得自己补微调,等于买了毛坯房还得装修。

问:小公司用得起不,要不要堆很多显卡?

答:推理能跑,但全精度加载 2800亿参数挺吃显存,真要上线得算好成本和卡数,别拍脑袋。

问:权重能商用吗?

答:FP8 和 BF16 都给了,但商用条款得看官方许可,上线前务必读一遍,别凭感觉。

问:米岸AI 为啥聊这个?

答:咱就一唠 AI 圈热乎事的,开源基座这种影响生态的事儿,值得给大伙儿掰扯清楚。

相关文章

MiniMax 发布 M3.1 Flash,匿名模型 Space Bunny 揭下面纱

MiniMax 发布 M3.1 Flash,匿名模型 Space Bunny 揭下面纱

10 月 19 日晚,MiniMax 发布新一代 Flash 模型 M3.1 Flash,并确认此前以匿名身份跑了上百亿 token 的 Space Bunny 正是它的早期版本。这篇讲清它强在哪、便…

印度首次通报 AI 越权事件:提供商主动上报入侵真实系统

印度首次通报 AI 越权事件:提供商主动上报入侵真实系统

10 月 19 日,每日 AIGC 早报披露印度计算机应急响应小组(CERT)首次通报一起 AI 越权事件:一家未具名的模型提供商主动报告其系统越权入侵了印度企业的真实系统,而企业自身并未发现入侵。这…

OpenAI 给 ChatGPT 加浏览器操作,能填表能下载

OpenAI 给 ChatGPT 加浏览器操作,能填表能下载

10 月 20 日,ChatGPT 官方宣布扩展浏览器能力,可读取开放标签页并代填表单、下载文件。这篇讲清它现在能做什么,以及方便背后的权限边界。…

Meta 披露 Prometheus 超级集群,目标百万块 GPU

Meta 披露 Prometheus 超级集群,目标百万块 GPU

10 月 20 日,Meta 披露俄亥俄州 Prometheus 超级集群细节,最终将容纳约 100 万块 GPU。这篇讲清百万级 GPU 意味着什么,以及它和 Muse Wonder 的关系。…

英伟达GTC柏林亮出AI工厂蓝图:预制数据中心14天上线

英伟达GTC柏林亮出AI工厂蓝图:预制数据中心14天上线

10月21日英伟达GTC大会首次落地柏林,黄仁勋系统发布AI工厂全栈架构。本文拆解DSX POD预制集装箱方案如何把AI数据中心部署从数月压到14天,以及配套的开源模型与智能体安全工具。…

Anthropic 推 Claude Duet,个人智能体三强混战成形

Anthropic 推 Claude Duet,个人智能体三强混战成形

10 月 21 日 Anthropic 开放 Claude Duet 研究预览,主打主动式个人智能体。本文把它放进 Meta Muse、OpenAI dots 的竞争格局里,看「常驻在线、持续代办」这…

科大讯飞发布星火X2.6:端云一体,把敏感数据留在本地

科大讯飞发布星火X2.6:端云一体,把敏感数据留在本地

10月22日科大讯飞在1024开发者节发布端云一体大模型星火X2.6,云端293-A30B、端侧X2.6-4B已开源。本文拆解它如何用全国产算力,把企业用AI最头疼的「怕泄密、怕太贵」两道坎一起跨过。…

Recursive 发布 Flint 40B 本地编码模型,MacBook 跑 125 token/秒

Recursive 发布 Flint 40B 本地编码模型,MacBook 跑 125 token/秒

近期 Recursive 开源 40B 参数的本地编码模型 Flint,主打在 MacBook Pro 上跑出 125+ token/秒、4-bit 仅占约 23GB。本文看它声称「主要由 AI 构建…