背景

Cekura 是一家來自 Y Combinator F24 梯次的新創公司，專注於為語音與聊天 AI 代理（AI Agents）提供自動化測試與監控解決方案。由於手動測試 AI 代理的對話路徑既耗時且難以規模化，Cekura 透過模擬真實使用者的合成對話，並利用大型語言模型作為評審，來檢測對話流程中的錯誤、幻覺或行為退化，確保代理在更換模型或調整提示詞後仍能維持穩定表現。

社群觀點

在 Hacker News 的討論中，社群對於如何有效評估 AI 代理的「常識」與「長程對話邏輯」展現了高度關注。一位開發者提出了核心質疑：當使用 AI 來驗證 AI 時，驗證代理可能會忽略一些人類一眼就能看出不對勁、但對機器而言卻顯得合理的邏輯錯誤。針對這種「智慧型笨蛋」的問題，討論者們提出了不同的架構建議。有人認為應採用記憶層與模型路由系統，透過情節記憶與回饋機制來訓練模型處理特定錯誤；而 Cekura 團隊則傾向於透過提示詞優化與工具整合的循環來解決，認為現階段進行微調（Fine-tuning）可能過於繁重。

關於對話流程的完整性，社群成員探討了如何處理「正確的失敗」或「不完整的流程」，例如代理因驗證失敗而拒絕服務，或在必要時轉接人工。對此，有開發者分享了將對話場景視為「狀態機」的實作經驗，透過設立檢查點（如詢問姓名、驗證生日等）來確保對話必須依序觸發特定條件才算通過。這種做法能有效捕捉到代理跳過步驟、產生幻覺或過早轉接人工的異常行為，讓測試結果不再只是單純的成功或失敗，而是具備具體的對話脈絡。

此外，技術整合的便利性也是討論焦點。有開發者分享了利用 Playwright 結合虛擬音訊設備來測試語音代理的開源工具，試圖解決瀏覽器自動化測試中缺乏「聽覺與說話能力」的痛點。Cekura 團隊對此表示認同，並強調其產品正致力於與 Livekit 或 Pipecat 等現有框架無縫接軌。同時，針對知識庫的整合需求，社群也確認了測試代理需要具備讀取外部資料（如 BigQuery 或自定義文件）的能力，以便根據特定業務邏輯生成更精準的測試場景。

延伸閱讀

• Atom (GitHub): 一個專注於情節記憶與模型路由系統的實作，旨在透過記憶層解決 AI 代理的重複性錯誤。
• Voice Agent Devkit MCP (GitHub): 基於 Playwright 與 Chromium 的工具，透過虛擬音訊設備為自動化測試提供語音輸入與輸出能力。