Cornetto: Benchmarking LLM-Driven Network Configuration Repair
作者:Ioannis Protogeros, Rufat Asadli, Benjamin Hoffman, Laurent Vanbever(ETH Zurich) 日期:2026-04-24(arXiv) 連結:https://arxiv.org/abs/2604.22513 分類:B-2 Benchmark 狀態:✅ 已核對摘要頁 既有筆記:2026-06-22-LAN-management-research
重點
- 評估 LLM 修復網路錯誤設定的能力,可大規模擴充。
- 9 個頂尖 LLM、231 個合成錯誤設定問題、網路規模 20–754 個節點。
- 發現:有潛力,但常引入 regression(修 A 壞 B),且網路越大表現越差。
- 結論:LLM 需要形式驗證的輔助才可靠。
後續:Evaluating Agentic Configuration Repair for Computer Networks
同團隊,2026-06-04,https://arxiv.org/abs/2606.06212 既有筆記:2026-06-15-LAN-management-research、2026-06-27-LAN-management-research
- 讓 LLM agent 搭配形式驗證與檢索工具修復設定。
- Agentic 架構比單純 LLM:修復成效平均高 12%,安全性平均高 17%。原因是能動態管理上下文並反覆驗證。
與主題的關係
- 閉環中「修復」這一步的主要參考:修復前後都要做形式驗證。