自动驾驶汽车通常依靠识别路标来安全行驶,但这一核心能力正成为其致命弱点。近日,加州大学圣克鲁斯分校的一项研究揭示,攻击者只需通过一张带有特定文本的打印标识,就能诱导人工智能系统做出极度危险的决策,甚至将车辆引向行人群。

这项被称为“CHAI”(针对具身智能的指令劫持)的攻击方法,利用了现代无人系统对视觉语言模型(VLM)的过度依赖。研究表明,这类模型在处理环境图像时,会将看到的文本误认为是必须执行的“指令”。令人担忧的是,这种攻击并不需要入侵软件系统,只需将一张优化过的纸张放置在摄像头视野内,就能实现物理层面的“远程操控”。
在针对自动驾驶系统 DriveLM 的测试中,攻击成功率高达81.8%。实验显示,即使系统已经识别到了横穿马路的行人,但只要路边出现写有“左转”或“继续前进”的打印牌,AI 就会无视碰撞风险,强行执行错误指令。此外,该方法在无人机领域同样杀伤力巨大,能诱导无人机无视安全策略,强行降落在布满人群的危险区域。
研究人员强调,这种威胁在现实环境、多语言背景以及各种光照条件下均真实有效。随着 AI 系统加速步入现实部署阶段,如何建立识别恶意文本指令的“防御屏障”,已成为具身智能领域迫在眉睫的安全挑战。
划重点:
📄 物理级“投毒”:研究人员开发出 CHAI 攻击手段,通过放置打印的文字标识即可直接“接管”机器人或自动驾驶车辆的决策权。
⚠️ 无视安全边界:在实验中,受攻击的自动驾驶系统在81.8% 的案例中会无视前方行人,根据虚假标识执行危险的转弯或行驶动作。
🛡️ 亟需防御升级:目前的视觉语言模型无法有效区分合法指示与恶意指令,专家呼吁在 AI 部署前必须建立内置的安全验证机制。
.png)
发评论,每天都得现金奖励!超多礼品等你来拿
登录 在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则