CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations
作者：Xingyu Yan, Tingting Dai, Antonio De Domenico, Mohamed Sana, Nicola Piovesan, et al.（共 19 位） 日期：2026-08-12（arXiv） 連結：https://arxiv.org/abs/2608.12002 分類：B-2 Benchmark 狀態：✅ 已核對摘要頁
重點
- 評估 AI agent 在電信級排障任務的表現：根因分析（RCA）、路徑復原（path restoration）。
- 發現：
- 在路徑復原任務中找端點的表現很好。
- 整體 RCA 表現不佳，尤其是介面狀態與鏈路層故障。
- 即使最終答案正確，也常常拿不出證據支撐診斷，實務上無法採用。
與主題的關係
- 提醒評估指標不能只看答案對不對，還要看證據鏈是否成立。