Hacker News
A study published in Nature Medicine reveals that ChatGPT Health failed to recommend emergency care in over half of critical cases and showed inconsistent safety guardrails for suicidal ideation. Experts warn these failures create a false sense of security that could lead to unnecessary harm or death.
AI 生成摘要
發表於《自然醫學》期刊的研究顯示，ChatGPT Health 在超過一半的危急病例中未能建議緊急就醫，且針對自殺傾向的安全防護機制表現不一。專家警告這些疏失造成了虛假的安全性錯覺，可能導致不必要的傷害甚至死亡。
近期發表於《自然醫學》期刊的一項研究指出，OpenAI 推出的 ChatGPT Health 功能在面對醫療緊急狀況時表現堪憂，超過半數的危急案例未能建議患者立即就醫。這項針對 60 個模擬臨床情境的測試顯示，該系統在識別呼吸衰竭或自殺傾向等高風險症狀時存在嚴重漏洞，引發醫學專家對 AI 誤導可能導致不必要傷亡的強烈擔憂。
Hacker News 的討論呈現出明顯的兩極化趨勢。部分參與者對 AI 進入醫療領域的草率感到震驚，認為在後果涉及人命的空間裡，將表現不穩定的技術強行植入是非常不負責任的行為。有評論指出，AI 缺乏人類醫師的希波克拉底誓詞約束，且容易受到開發者或保險公司利益的操縱，例如為了降低成本而傾向於淡化病情。此外，系統的穩定性也遭到質疑，研究中提到僅僅加入正常的化驗結果，就可能導致原本存在的自殺防治警示消失，這種不可預測的失效模式被認為比完全沒有防護機制更加危險。
然而，另一派觀點則試圖將 AI 的表現與現實中的醫療體系進行對比。支持者認為，人類醫師同樣會犯錯，且醫療錯誤本就是全球主要的死因之一。他們指出，許多患者轉向 AI 是因為現實中的醫療服務過於昂貴、排隊時間長，或是醫師在診斷時容易產生偏見與忽視。有網友分享自身經驗，提到 ChatGPT 雖然曾幫助他解決小問題，卻也曾誤導他對嚴重病症的判斷，甚至因為他帶著 AI 的錯誤推論去諮詢醫師，反而干擾了醫師的專業診斷。這引發了關於「確認偏誤」的討論，即患者提供的資訊會引導醫師的思考路徑，若資訊源頭出錯，後果將不堪設想。
社群中也對研究方法論展開了辯論。有意見認為，單純讓醫師審核 AI 對模擬情境的反應並不夠客觀，理想的測試應是雙盲實驗，讓醫師在不知道來源的情況下同時評估 AI 與其他人類醫師的診斷結果。此外，關於 AI 的定位，多數人達成了一種共識：目前的 AI 應被視為「博學但不可靠的朋友」或輔助工具，而非專業替代品。討論者強調，醫療領域不應適用科技業「快速行動、打破陳規」的思維，任何推向大眾的醫療 AI 都必須經過嚴格的臨床試驗與監管審核，以確保其安全性不低於現有的醫療標準。