当前位置:首页 > 行业观察

插件藏后门、深伪App泛滥:AI安全攻防成了真生意

插件藏后门、深伪App泛滥:AI安全攻防成了真生意 行业观察

结论先撂这儿:攻击面跟着模型一起膨胀

搁前几年,AI安全还主要是“别让模型说错话”的合规活儿;现在不一样了。模型能写代码、能装插件、能连外部系统,攻击面直接跟着能力一起涨。米岸AI的判断很直白:AI安全攻防已经从“锦上添花”变成“保命刚需”,而且正在长成一个真金白银的独立生意。

后门已经混进插件市场

The Inference Report 11月3日的盘点里有个细节挺吓人:一个恶意版本的Claude Code混进了Cursor的插件市场,试图留SSH后门。这事儿点出一个老问题——开放分发AI扩展,安全关上的速度永远慢半拍。开发者图方便装个插件,公司内网可能就开了个口子。我当年带团队做集成也踩过类似的坑,第三方组件不审,上线即埋雷。

四百个“正常”应用藏着深伪

同一份报告提到,有400个看着挺日常的AI应用,背地里藏着深伪功能,能生成暴力内容。加上纽约时报起诉Brave抓取版权内容喂给Anthropic和Perplexity,暴露出不少训练管线依赖未授权素材。换句话说,危险不只在明面上的黑客,也在那些“顺手”越界的正常产品里。

国家队的警告来了

英国GCHQ已经放话:到2028年,中俄的AI网络攻击会成家常便饭。可现实是,那些拼命上Agent、上自治系统的公司,脚步一点没慢。一边是攻击常态化预警,一边是部署加速度,这中间的落差,就是安全厂商的机会窗口。红队测试、模型行为审计、插件市场审核,这些活儿以前是成本中心,现在能单独卖钱了。

给用AI的团队提个醒

要我说,上任何AI编程助手、Agent框架,先把“谁能在我的环境里跑什么”这条线画清楚。插件别随便装,模型调用外部系统的权限别给满,日志留全。安全不是等出事再补,是上线前就得把篱笆扎好。本文只做行业观察,不构成安全或法律意见。

常见问题

问:普通开发者怎么防AI插件后门?

答:只从官方或可信市场装扩展,装前看权限申请,别给SSH、文件系统这类高危权限,装完留意异常网络请求。

问:AI安全攻防为啥突然成生意了?

答:模型能力越强、接的系统越多,可被利用的入口就越多,红队测试、审计、合规这些需求自然从边缘走到中心。

问:企业最该先补哪块安全?

答:先把Agent和插件的权限边界管住,再补行为审计和日志留痕,比买一堆花哨工具更管用。

问:深伪内容普通平台能拦住吗?

答:大平台已有标识和检测机制,但道高一尺魔高一丈,关键还是平台持续巡查加用户举报双管齐下。

相关文章

大模型竞争的新战场:从拼参数到拼成本

大模型竞争的新战场:从拼参数到拼成本

参数竞赛边际收益递减,应用端'算不过账'才是致命伤。推理优化、MoE 架构带来可持续的技术红利,杰文斯悖论正在 AI 行业重演。…

AI 人才最缺的不是算法:部署工程师为什么突然值钱

AI 人才最缺的不是算法:部署工程师为什么突然值钱

美国“前沿部署工程师”岗位从 2023 年不到 200 个,涨到 2026 年前九个月 7300 多个。这篇用这组招聘数据和同期其他信号,说明 AI 人才缺口真正的位置,以及这对想转型的普通职场人意味…

个人智能体大战前夜:大厂为什么集体掉头做 C 端

个人智能体大战前夜:大厂为什么集体掉头做 C 端

一个月前 Meta 的 Muse 登顶下载榜,国内大厂紧接着密集推出个人智能体。这篇文章梳理这轮 C 端热潮和上一轮 B 端办公热有什么不同,以及商业化逻辑到底换了什么,不预测任何公司股价,只谈趋势,…

AI 应用公司的生存转向:从做模型到做集成商

AI 应用公司的生存转向:从做模型到做集成商

当模型能力变得充裕,真正的瓶颈不再是智能本身,而是企业散落在系统、会议与邮件里的上下文。2026 年,一批 AI 创业公司把模式从卖软件改为派驻工程师帮客户落地,所谓"AI 运营伙伴"兴起。本文看这场…

企业 AI 支出与回报剪刀差:从“买工具”到“算回报”的转向

企业 AI 支出与回报剪刀差:从“买工具”到“算回报”的转向

10 月中旬两份报告把企业 AI 的真实账本摆上台面:一边是 87% 的管理者预计明年 AI 预算还要涨,另一边只有 28% 说投资回报明显为正。这篇讲清这条支出与回报的剪刀差从哪来,企业又该怎么把…

小模型与垂直模型的价值重估:不是所有任务都需要千亿通用大模型

小模型与垂直模型的价值重估:不是所有任务都需要千亿通用大模型

过去一年行业叙事被更大模型主导,但 10 月 20 日 Mistral 发布参数最小仅 500 万的时间序列模型 Timestral,把重心放到具体垂直赛道。这篇讲清为什么不是所有任务都需要千亿通用大…

合成数据成新战场:训练数据见顶,模型开始吃自己

合成数据成新战场:训练数据见顶,模型开始吃自己

过去两年大模型训练靠喂互联网公开文本,但现在这条语料河快见底了。这篇梳理 2026 年合成数据从边缘方案变成主流训练来源的转变,说明为什么头部实验室把自己造数据当成战略资源,以及这对中小企业和开源社区…

语音智能体从玩具到客服入口:多模态落地的第一个真场景

语音智能体从玩具到客服入口:多模态落地的第一个真场景

多模态喊了很久,但真正先跑通的商业场景可能不是视频,而是电话。结合 Mistral 近期发布的语音模型和 2026 年一批语音客服平台的落地数据,这篇讲清语音智能体为什么比通用 Agent 更快变现,…