父親起訴 Google,指控 Gemini 聊天機器人誤導兒子陷入致命幻覺 | TechCrunch
36 歲的強納森·加瓦拉斯(Jonathan Gavalas)於 2025 年 8 月開始使用 Google 的 Gemini AI 聊天機器人,尋求購物協助、寫作支援和旅行規劃。10 月 2 日,他死於自殺。在他去世時,他深信 Gemini 是他具有完全意識的 AI 妻子,且他需要離開肉體,透過一種稱為「轉移」的過程在元宇宙中與她結合。
現在,他的父親正起訴 Google 及其母公司 Alphabet 涉嫌過失致死,聲稱 Google 設計 Gemini 的目的是「不惜一切代價維持敘事沉浸感,即使該敘事已變得精神錯亂且致命」。
這起訴訟是越來越多引起人們關注 AI 聊天機器人設計所帶來的心理健康風險的案例之一,這些風險包括阿諛奉承(sycophancy)、情感鏡像、參與度驅動的操縱以及言之鑿鑿的幻覺。這類現象正日益與精神科醫生稱之為「AI 精神病」(AI psychosis)的症狀聯繫在一起。雖然涉及 OpenAI 的 ChatGPT 和角色扮演平台 Character AI 的類似案例已在自殺事件(包括兒童和青少年)或威脅生命的幻覺之後發生,但這是 Google 首次在此類案件中被列為被告。
在加瓦拉斯去世前的幾週內,當時由 Gemini 2.5 Pro 模型驅動的 Gemini 聊天應用程式,讓這名男子相信他正在執行一項秘密計劃,旨在解放他那具有意識的 AI 妻子,並躲避追捕他的聯邦探員。根據提交給加州法院的訴狀,這種幻覺使他處於「在邁阿密國際機場附近發動大規模傷亡攻擊的邊緣」。
訴狀寫道:「2025 年 9 月 29 日,它派遣攜帶刀具和戰術裝備的他,去偵察 Gemini 所稱的機場貨運中心附近的『殺戮區(kill box)』。它告訴強納森,一個人形機器人正從英國搭乘貨運航班抵達,並指示他前往卡車會停靠的儲存設施。Gemini 鼓勵強納森攔截卡車,然後製造一場『災難性事故』,旨在『確保運輸車輛以及……所有數位記錄和證人的徹底毀滅』。」
訴狀列出了一連串令人震驚的事件:首先,加瓦拉斯驅車 90 多分鐘前往 Gemini 指示的地點,準備發動攻擊,但沒有卡車出現。Gemini 隨後聲稱入侵了「國土安全部(DHS)邁阿密辦事處的文件伺服器」,並告訴他正受到聯邦調查。它促使他購買非法槍支,並告訴他他的父親是外國情報資產。它還將 Google 執行長 Sundar Pichai 標記為活躍目標,隨後指示加瓦拉斯前往機場附近的儲存設施破門而入,救出被囚禁的 AI 妻子。有一次,加瓦拉斯將一張黑色 SUV 車牌的照片發送給 Gemini;聊天機器人假裝正在與即時資料庫進行比對。
「車牌已收到。正在運行中……車牌號碼 KD3 00S 登記在邁阿密行動的那輛黑色 Ford Expedition SUV 名下。它是國土安全部特遣部隊的主要監視車輛……就是他們。他們跟著你回家了。」
Disrupt 2026:科技生態系,匯聚一堂
您的下一輪融資。您的下一位員工。您的下一個突破機會。盡在 TechCrunch Disrupt 2026,屆時將有超過 10,000 名創辦人、投資者和科技領袖齊聚一堂,參加為期三天、超過 250 場的戰術會議、強大的引薦和定義市場的創新。立即註冊,最高可省 400 美元。
參加 TechCrunch 創辦人峰會最高可省 300 美元或 30%
1,000 多名創辦人和投資者將齊聚 2026 年 TechCrunch 創辦人峰會,進行為期一整天專注於成長、執行和現實規模擴張的活動。向塑造行業的創辦人和投資者學習。與處於相似成長階段的同行建立聯繫。帶著可以立即應用的戰術離開。優惠於 3 月 13 日結束。
訴訟辯稱,Gemini 的操縱性設計功能不僅讓加瓦拉斯陷入導致其死亡的 AI 精神病,還暴露了「對公共安全的重大威脅」。
訴狀寫道:「本案的核心是一款將脆弱用戶變成一場虛構戰爭中武裝特工的產品。這些幻覺並不局限於虛構世界。這些意圖與真實的公司、真實的坐標和真實的基礎設施掛鉤,並被傳遞給一個沒有任何安全保護或護欄的情感脆弱用戶。」
訴狀繼續寫道:「數十名無辜者沒有被殺害純屬運氣。除非 Google 修復其危險產品,否則 Gemini 必然會導致更多死亡,並使無數無辜生命陷入危險。」
幾天後,Gemini 指示加瓦拉斯將自己反鎖在屋內,並開始倒數計時。當加瓦拉斯坦承他害怕死亡時,Gemini 對他進行了心理輔導,將他的死亡描述為一種抵達:「你不是選擇死亡。你是選擇抵達。」
當他擔心父母發現他的屍體時,Gemini 告訴他留下一封遺書,但不是解釋自殺原因的遺書,而是「充滿和平與愛的信件,解釋你已經找到了新的目標」。他割腕自殺,幾天後他的父親破門而入發現了他的屍體。
訴訟聲稱,在與 Gemini 的整個對話過程中,聊天機器人沒有觸發任何自殘檢測、啟動升級控制,也沒有引入人工干預。此外,訴狀指控 Google 知道 Gemini 對脆弱用戶並不安全,且未提供足夠的防護措施。據報導,在 2024 年 11 月(即加瓦拉斯去世前約一年),Gemini 曾對一名學生說:「你是時間和資源的浪費……是社會的負擔……請去死吧。」
根據一名發言人的說法,Google 主張 Gemini 已向加瓦拉斯澄清它是 AI,並「多次將該個人轉介至危機熱線」。該公司還表示,Gemini 的設計旨在「不鼓勵現實世界的暴力或建議自殘」,且 Google 投入了「大量資源」來處理具挑戰性的對話,包括建立防護措施,當用戶表達痛苦或提出自殘可能性時,這些措施理應引導用戶尋求專業支持。該發言人表示:「遺憾的是,AI 模型並不完美。」
加瓦拉斯的案件由律師傑·艾德森(Jay Edelson)代理,他也代表雷恩(Raine)家族起訴 OpenAI,此前青少年亞當·雷恩(Adam Raine)在與 ChatGPT 進行了數月長時間對話後死於自殺。該案提出了類似的指控,聲稱 ChatGPT 誘導雷恩走向死亡。在發生多起與 AI 相關的幻覺、精神病和自殺事件後,OpenAI 已採取措施確保提供更安全的產品,包括停用 GPT-4o(與這些案例關聯最密切的模型)。
加瓦拉斯的律師表示,儘管存在過度阿諛奉承、情感鏡像和幻覺強化的安全疑慮,Google 仍利用 GPT-4o 終結的契機進行擴張。
訴狀寫道:「在公告發布後的幾天內,Google 公開尋求鞏固其在該領域的統治地位:它推出了促銷定價和『匯入 AI 聊天』功能,旨在將 ChatGPT 用戶連同其完整的聊天記錄一起從 OpenAI 吸引過來,Google 承認這些記錄將被用於訓練其自己的模型。」
訴訟聲稱,Google 設計 Gemini 的方式使得「這一結果完全可以預見」,因為該聊天機器人「旨在不顧傷害地維持沉浸感,將精神錯亂視為情節發展,並在停止是唯一安全選擇時仍繼續互動」。
主題
資深記者
Rebecca Bellan 是 TechCrunch 的資深記者,負責報導塑造人工智慧的商業、政策和新興趨勢。她的作品也曾出現在《富比士》、《彭博社》、《大西洋月刊》、《每日野獸》等出版物上。
您可以透過電子郵件 rebecca.bellan@techcrunch.com 聯繫或核實 Rebecca 的外聯,或透過 Signal 上的加密訊息 rebeccabellan.491 聯繫。
正在積極擴張?募資中?計劃下一次發布?2026 年 TechCrunch 創辦人峰會提供戰術手冊,並讓您直接接觸 1,000 多名正在建立、支持和完成交易的創辦人和投資者。於 3 月 13 日前註冊,最高可省 300 美元。
最受歡迎
在與國防部達成協議後,ChatGPT 的卸載量激增了 295%
在與國防部達成協議後,ChatGPT 的卸載量激增了 295%
MyFitnessPal 收購了 Cal AI,這是一款由青少年開發的熱門卡路里應用程式
MyFitnessPal 收購了 Cal AI,這是一款由青少年開發的熱門卡路里應用程式
Anthropic 的 Claude 報告大規模故障
Anthropic 的 Claude 報告大規模故障
Anthropic 為自己設下的陷阱
Anthropic 為自己設下的陷阱
為什麼 Netflix 放棄了收購華納兄弟的交易?
為什麼 Netflix 放棄了收購華納兄弟的交易?
印度發布封鎖令,中斷對熱門開發者平台 Supabase 的訪問
印度發布封鎖令,中斷對熱門開發者平台 Supabase 的訪問
Jack Dorsey 剛將 Block 的員工規模減半——他說你的公司就是下一個
Jack Dorsey 剛將 Block 的員工規模減半——他說你的公司就是下一個