NetArena: Dynamic Benchmarks for AI Agents in Network Automation
作者：Yajie Zhou, Jiajun Ruan, Eric S. Wang, Sadjad Fouladi, Francis Y. Yan, Kevin Hsieh, Zaoxing Liu 日期：2025-06-03（arXiv），2026-03-13 修訂 連結：https://arxiv.org/abs/2506.03231 分類：B-2 Benchmark 狀態：✅ 已核對摘要頁
重點
- 解決靜態 benchmark 的問題（題目有限、可能已被模型訓練資料看過）：可以隨時產生無限多題。
- 整合網路模擬器，同時評估正確性、安全性、延遲。
- 關鍵發現：在大規模的真實查詢上，agent 平均只做對 13–38%，最低只有 3%。
與主題的關係
- 評估框架設計可參考：除了正確性，也要測安全性（會不會把網路改壞）。