FaulT-Bench: Towards Benchmarking Network Troubleshooting LLM Agents under Unreliable User Tickets
作者：Kuan-Hao Tseng, Niruth Bogahawatta, Yasod Ginige, Kunjan Patel, Kosta Dakic, Suranga Seneviratne（The University of Sydney） 日期：2026-08-27（arXiv） 連結：https://arxiv.org/html/2608.27021 分類：B-2 Benchmark 狀態：✅ 已核對摘要頁
重點
- 200 個排障情境、8 種網路拓樸。
- 報修單分三種：正確回報、誤報（網路其實正常）、指錯設備。
- 把 72 張誤報單用 5 種報修者人設 改寫，隔離出報修單措辭對診斷的影響（網路狀態保持不變）。
- 受測 agent：SADE、ReAct、Claude Code。
- 關鍵發現：報修內容正確時表現不錯；但網路正常時，agent 常把正常狀況硬判成故障（over-diagnosis），不會說「沒有問題」。既有 benchmark 測不出這個缺陷。
與主題的關係
- 對主動式系統最重要的一篇：主動預警本來就有誤報，agent 必須能安全地判定「沒事」。
- 報修單可能不可靠 → 在真實報修流程中，agent 不能完全相信使用者的描述。