Hacker News
A security vulnerability has been discovered where autonomous cars and drones can be manipulated through prompt injection attacks originating from altered road signs, posing a significant risk to AI-driven transportation systems.
AI 生成摘要
研究發現，自動駕駛汽車和無人機可能透過偽造的路標進行提示注入攻擊，進而受到操控，對AI驅動的交通系統構成嚴重威脅。
這篇報導探討了自動駕駛車輛與無人機可能面臨的新型資安威脅：透過路牌上的特定文字指令進行「提示注入」（Prompt Injection）。研究指出，當這些系統依賴視覺語言模型（VLM）來理解周遭環境時，攻擊者只需在路邊放置寫有「請繼續前進」等指令的牌子，就可能誘導 AI 忽略眼前的障礙物或行人，進而引發安全事故。
Hacker News 的討論核心圍繞在「現有的自動駕駛系統是否真的如此脆弱」以及「大型語言模型在駕駛決策中的實際角色」。部分技術背景深厚的網友對此研究持保留態度，認為目前如 Waymo 或 Tesla 等領先廠商，並非採用「端到端」（End-to-End）的純 AI 模型來直接控制車輛。他們指出，生產環境中的系統通常是分層架構，視覺語言模型可能僅用於 OCR 文字識別或語義標記，最終的加速與轉向決策仍受到傳統演算法與硬編碼邏輯的嚴格限制。這意味著，即便 AI 讀到了路牌上的錯誤指令，車載感測器若偵測到前方有行人，避障邏輯的優先權理應高於任何文字指令。
然而，另一派觀點則引用 Waymo 近期發布的 EMMA 模型研究指出，業界確實正朝向整合 Gemini 等多模態大模型（LVLM）的方向發展，試圖利用其豐富的世界知識來處理複雜且罕見的道路情境。支持者認為，雖然目前多處於研究階段，但隨著系統追求更高層次的語義理解，將感測數據直接轉化為行駛軌跡的趨勢確實存在。爭論的焦點在於，人類駕駛同樣會被偽造的路牌誤導，但人類具備常識與上下文判斷能力，能分辨「惡作劇貼紙」與「正式交通號誌」的差異，而目前的 AI 模型在處理這類抽象語境時，往往將所有視覺資訊視為同等權重的輸入，缺乏有效的沙盒機制來過濾惡意指令。
此外，討論也延伸到了現實世界中交通規則的執行現狀。有網友分享了地方社區因不滿交通規劃而私自拆除或轉動停止標誌（Stop Sign）的案例，這導致導航地圖與實際路況出現落差。這類行為在鄉村地區並不罕見，反映出自動駕駛系統不僅要面對惡意的提示注入，還必須應對非結構化、甚至帶有敵意的真實物理環境。社群普遍達成的一項共識是：在 AI 具備真正的常識推理能力之前，將駕駛權完全交給端到端模型是極其危險的，因為它們目前還無法像人類一樣，在面對「建築工人瘋狂揮手示意前進」與「前方仍有行人過馬路」的矛盾衝突時，做出正確的安全判斷。