網路 AIOps 推薦論文：中文摘要、成效與貢獻

整理日期：2026-09-25
範圍：主動式AI網管與報修-總覽 中列出的 18 篇論文
說明：「中文摘要」是依論文原始 abstract 所做的繁體中文意譯，不是作者提供的官方譯文。「成效」優先採用摘要中的數字；若摘要未提供量化結果，會明確註明，避免把定性結論誤當成量化成績。

先看結論

這批論文大致分成三個階段：

1. 提早發現問題：PreFix、NFV Predictive Analysis、DeepSIP、CableMon、Complaint Hotspot、MILD、Kestrel。
2. 由 Agent 診斷或處理問題：SADE、QoEReasoner、MAS + SLM、Confucius、Optical Network Agent。
3. 檢驗 Agent 是否真的可靠：NIKA、CTBench、FaulT-Bench、NetArena、Cornetto、NetAgentBench。

最值得帶入「主動式 AI 網管與報修」題目的共同結論是：預測模型可以提早發出警示，但警示不等於已確認故障；Agent 必須先查證、允許得出「網路正常」的結論，而且任何修復都應經過驗證，避免誤修與 regression。

A. 主動式故障預測

1. PreFix：Switch Failure Prediction in Datacenter Networks

原文：ACM DOI

中文摘要

現代資料中心網路中的設備故障十分常見，但多數研究著重在故障發生後的處理。本文改採預測方式，提出 PreFix，在執行期間判斷交換器是否會於近期故障，使維運人員能在故障前介入。預測依據包括交換器目前的系統狀態，以及經維運人員仔細標註的歷史硬體故障案例。作者觀察到，同一型號交換器在故障前會呈現共同的 syslog 模式，因此可利用機器學習擷取這些模式。論文設計了訊息模板序列、頻率、季節性與突增等特徵，以處理雜訊、樣本不平衡與計算成本。研究使用某全球大型搜尋引擎公司超過 20 個資料中心、9,397 台交換器、3 種型號、為期兩年的資料進行評估。

成效在做什麼

• 預測「交換器近期是否會發生硬體故障」，讓人員能先移轉流量或更換設備。
• 平均 recall 為 61.81%，false-positive ratio 為 1.84 × 10⁻⁵。
• 表現優於先前針對電腦與 ISP 設備的故障預測方法。

主要貢獻

• 證明同型號交換器的故障前 syslog 具有可學習的共同模式。
• 提出能應付高雜訊與嚴重類別不平衡的 syslog 特徵設計。
• 在大型、長時間的真實資料中心資料上驗證，而非只用小型模擬資料。

2. NFV-Predictive-Analysis：Predictive Analysis in Network Function Virtualization

原文：IMC 2018 PDF

中文摘要

網路功能虛擬化（NFV）雖能降低成本並簡化網路功能部署，新增的虛擬化層卻會降低對底層故障的可見性。為改善虛擬網路功能（VNF）的故障分析與預測，作者構想一套與既有被動監控並行的即時預測分析系統，在異常狀況發生前向維運人員提供警示。本文提出以深度學習從 NFV syslog 中可靠辨識異常事件的方法，並以 2016 至 2018 年間連續 18 個月、正式環境 vPE 路由器的資料進行實證研究。結合客製化與調適機制後，模型能找出與網路 trouble ticket 相關的異常狀態；分析這些異常可協助最佳化報修單產生與處理規則，進而更快甚至主動處理故障。

成效在做什麼

• 在 Tier-1 ISP 的 38 台 vPE、18 個月資料上尋找早於報修單出現的 syslog 異常。
• Circuit、Software、Cable、Hardware 類報修單在產生前出現 syslog 異常的比例分別為 74%、55%、40%、28%。
• 多數偵測到的異常比報修單早 5 分鐘；Cable 與 Hardware 類別分別有 39%、38% 的異常早 15 分鐘出現。
• vPE 分群把初始訓練資料需求由 3 個月降至 1 個月；transfer learning 把軟體更新後的模型恢復期由 3 個月縮至 1 週。

主要貢獻

• 將 LSTM 異常偵測用於正式 NFV/vPE 環境的 syslog 預警。
• 以 transfer learning 處理軟體更新後資料分布改變與重新訓練成本。
• 說明虛擬化降低底層可見性後，VNF syslog 仍含有可用的早期故障訊號。

3. DeepSIP：Predicting Service Impact of Network Failure

原文：arXiv

中文摘要

網路發生故障時，維運人員需要了解服務受影響的程度，才能決定如何處理。本文提出 DeepSIP，以 temporal multimodal CNN 預測網路元件故障後的恢復時間與流量損失。恢復時間與 SLA 有關，流量損失則直接反映故障嚴重度，因此兩者共同代表服務衝擊。由於網路元件不會直接提供服務衝擊資訊，系統改從 syslog 與流量資料中擷取隱藏的故障資訊。這兩種資料具有多模態、彼此高度相關與時間相依等特性，因此作者設計 temporal multimodal CNN 來抽取可用特徵。

成效在做什麼

• 預測的不是「有沒有故障」，而是故障後的 恢復時間與流量損失。
• 在合成資料集上，相較其他神經網路方法，預測誤差約降低 50%。
• 可用來替多個同時發生的告警排優先順序，先處理服務衝擊最大的事件。

主要貢獻

• 把故障預測延伸為服務影響預測，更貼近維運決策。
• 聯合建模 syslog 與流量兩種具有時間性的資料。
• 限制是成效來自合成資料，正式環境的泛化能力仍需驗證。

4. CableMon：Proactive Network Maintenance for Cable Broadband

原文：arXiv

中文摘要

纜線寬頻是美國廣泛使用的最後一哩技術，但長期部署後可靠性不佳。業界雖提出 Proactive Network Maintenance（PNM）框架，公開領域中仍缺乏如何利用 PNM 資料偵測與定位問題的系統性研究，既有工具也有過高的誤報率。本文提出 CableMon，這是首個公開、利用機器學習處理 PNM 資料的系統，重點解決兩個問題：準確偵測故障，以及判斷故障位於 ISP 網路內或用戶端。CableMon 先用統計模型從時間序列產生特徵，再把客戶報修單當作提示，推斷各特徵的異常或故障門檻；之後以非監督式學習將異常模式相似的纜線設備分群，區分網路端與用戶端故障。研究以某 ISP 八個月的 PNM 資料、報修單及實驗部署進行評估。

成效在做什麼

• 從 cable modem 的 PNM 遙測中偵測異常，再分辨該派 ISP 網路維修人員，還是處理用戶家中的設備或線路。
• 整體故障偵測優於合作 ISP 的既有工具及公開工具；論文報告分群的 Rand Index 為 0.91、Adjusted Rand Index 為 0.83。
• 摘要沒有給單一整體準確率，但指出能找出更多需要派工、嚴重度較高的報修事件，並降低既有固定門檻帶來的誤報。

主要貢獻

• 首次大規模把 PNM 資料與客戶報修單結合，用帶雜訊的報修單作為 weak supervision。
• 同時處理「有沒有故障」與「故障在哪一側」，直接對應不同派工流程。
• 證明沒有完整 ground truth 時，仍可用報修行為學到與客戶影響相關的異常門檻。

5. Complaint-Hotspot-Prediction：Smart Prediction of Complaint Hotspots

原文：arXiv

中文摘要

行動網路中的客訴熱點可能影響數千名使用者，造成重大經濟損失與大量客訴。本文提出一種根據即時使用者 signaling data 預測客訴的方法。作者分析網路與使用者服務流程，從 S1 介面收集的 XDR 資料中擷取 30 個與使用體驗相關的關鍵欄位，再加入 one-hot、統計及差分等衍生特徵來評估使用者體驗。考量資料不平衡問題，模型採用具泛化能力、適合不平衡資料的 LightGBM。實驗證明方法具有有效性與效率，並已部署於日常作業，用來定位客訴熱點的範圍，以及回報受影響的使用者與區域。

成效在做什麼

• 從 S1/XDR 即時訊號預測哪些使用者或區域將形成客訴熱點。
• 已投入日常部署，用於圈定問題範圍與列出受影響使用者、地區。
• 原始摘要只說實驗證明有效且有效率，沒有提供準確率、召回率或時間節省等數字。

主要貢獻

• 將網路 KPI／signaling data 轉成「客戶是否會抱怨」的業務結果。
• 建立 30 個基本欄位加上多類衍生特徵的實務特徵工程。
• 與 CableMon 方向互補：CableMon 用報修反推網路異常，本篇用網路訊號預測報修。

6. MILD：Multi-Intent Learning and Disambiguation

原文：arXiv

中文摘要

在同時存在多個 intent 的意圖式網路中，單一故障可能造成 co-drift，使多個 intent 的 KPI 同時出現症狀性劣化，因而難以判斷真正的根因 intent。本文提出 MILD，把 intent assurance 從故障後的 drift detection，改寫成固定預測時間範圍內的主動故障預測，並加入 intent 層級的去模糊化。MILD 採用 teacher-augmented Mixture-of-Experts：gated disambiguation module 負責辨識根因 intent，每個 intent 的預測 head 則輸出經校準的風險分數。系統亦會針對每個警示提供 KPI 解釋，使診斷能直接採取行動。

成效在做什麼

• 在非線性故障與 co-drift benchmark 上，相較基線提供 3.8%–92.5% 更長的修復前置時間。
• intent 層級的根因去模糊準確率提升 9.4%–45.8%。
• 除了風險分數，還指出哪些 KPI 支持該警示。

主要貢獻

• 不只預測 intent 是否將失效，也辨識多個同步劣化 intent 中的真正源頭。
• 將主動預警、風險校準、根因 intent 與可解釋 KPI 放進同一框架。
• 對「一個故障引發大量告警」的告警風暴特別有參考價值。

7. 5G-UPF-Telemetry-Anomaly：Kestrel for Fine-Grained 5G User-Plane Anomaly Detection

原文：arXiv

中文摘要

偵測 5G user plane 的 QoS 異常需要細粒度的 per-flow 可見性，但既有遙測有根本上的取捨：per-class counter 成本低，卻會掩蓋短暫與單一 flow 的異常；per-packet postcard 提供完整可見性，成本卻會隨線速線性增加；選擇性 postcard 雖降低負擔，仍會漏掉低於門檻或只短暫發生的異常。本文提出 Kestrel，一套 sketch-based 的 5G user-plane 遙測系統，以遠低於逐封包 postcard 的成本，保留 latency tail 與 inter-arrival time 等關鍵指標分布。Kestrel 在 Count-Min Sketch 上加入 histogram-augmented bucket 與 per-queue partition，把逐封包量測壓縮成小型摘要，同時保留與異常相關的訊號。作者也提出考量 sketch collision 的形式化可偵測性保證，據此決定 sketch 大小與分箱方式。

成效在做什麼

• 在使用 Intel Tofino switch 的 5G testbed 上，異常偵測準確率比既有 selective postcard 方法高 10%。
• 遙測匯出頻寬降低 10 倍。
• 核心成效不是發明更大的 AI 模型，而是在較低成本下收集到更適合偵測細粒度異常的資料。

主要貢獻

• 重新從 telemetry design 解決異常偵測的資料品質與成本問題。
• 用 histogram-augmented Count-Min Sketch 保留延遲尾端與到達間隔分布。
• 提供可偵測性理論保證與具原則的 sizing／binning 方法，而非只靠經驗調參。

B. LLM Agent 自動排障方法

8. SADE：Symptom-Aware Diagnostic Escalation

原文：arXiv

中文摘要

LLM Agent 已逐漸用於網路排障，但公開 benchmark 上的根因定位仍遠低於可實際部署的水準。作者認為原因是既有 Agent 沒有編入人類網路工程師嚴謹、逐層檢查的方法，反而以自由形式推理，把證據蒐集與假設承諾混在一起。本文提出 SADE，將經典 Cisco 排障方法寫成 explicit policy。SADE 結合 phase-gated workflow、依故障家族路由的技能庫，以及高效益的診斷工具；流程會把證據取得與形成假設分開。在 NIKA 未見過的測試情境中，SADE 顯著改善根因辨識。

成效在做什麼

• 在 NIKA 中 523 個 held-out incidents、11 個未見情境上，root-cause F1 比 ReAct + GPT-5 高 37 個百分點。
• 使用相同 Claude Sonnet backend 的控制實驗顯示，其中 22 個百分點可歸因於 SADE 的診斷 policy，而不是換了較強模型。
• 成效表示「結構化 SOP」本身能顯著改善 RCA。

主要貢獻

• 把 Cisco 逐層排障方法落實為 Agent 明確政策。
• 把「先找證據」與「再接受某個根因假設」分離，降低過早下結論。
• 以 fault-family skill routing 減少無目的探索，讓流程可重用且有停止條件。

9. QoEReasoner：Explainable QoE Diagnosis in RANs

原文：arXiv

中文摘要

在正式 RAN 中診斷 QoE 劣化非常複雜，傳統上需要專家耗費大量時間分析高維度、跨層遙測。LLM 雖具推理能力，直接處理 RAN 排障仍不合適：它不擅長數值時間序列分析、可能幻想違反協定的因果關係，也缺乏多步定位所需的有狀態嚴謹性。本文提出 QoEReasoner，一套端到端、由 LLM 驅動且可解釋的 QoE 診斷 Agent。它以 deterministic tools 把原始 KPI 轉成結構化證據，以 domain-specific knowledge base 限制故障傳播必須符合協定，再利用經專家驗證的 Historical Bank 引導假設產生。中央 stateful planner 協調異常偵測、因果追蹤與根因定位的閉環流程。

成效在做什麼

• 在真實營運 RAN 資料上，多項診斷任務的準確率比強基線高 18%–40%。
• 每次診斷由人工專家約 30 分鐘縮短為 3 分鐘。
• 能產生具解釋性、接近專家品質的報告，並可跨不同 LLM backend 維持穩健。

主要貢獻

• 不讓 LLM 直接猜測原始時間序列，而由確定性工具先產生證據。
• 用網路物理與協定知識限制因果鏈，降低 hallucination。
• 結合歷史案例與 stateful planner，形成可追溯的閉環診斷。

10. MAS-SLM-Telecom-Troubleshooting：Multi-Agent System + Fine-Tuned SLM

原文：arXiv

中文摘要

電信網路的規模與複雜度持續增加，使管理、操作與最佳化更加困難。既有 AI 模型通常處理範圍狹窄、需要大量標註資料，也難以泛化至異質部署，因此排障仍仰賴領域專家手動關聯多種資料，以辨識根因與修正動作。本文提出多代理系統，由 LLM 協調多項專用工具，形成全自動排障工作流。AI／ML monitor 發現故障後，系統會動態啟動 orchestrator、solution planner、executor、data retriever 與 root-cause analyzer，在短時間內診斷並建議修復策略。其中 solution planner 根據內部文件產生修復計畫；作者以專有排障文件微調 SLM，使計畫受到領域知識約束。

成效在做什麼

• 框架涵蓋 RAN 與 Core network，目標是把偵測後的資料收集、RCA、修復計畫與執行串成自動流程。
• 摘要稱能「顯著加速」兩個領域的排障自動化，但沒有公開具體的時間、準確率或成功率數字。

主要貢獻

• 提出角色分工清楚的 telecom troubleshooting multi-agent workflow。
• 用內部文件微調可本地部署的 SLM 產生修復計畫，適合資料不可離開內網的場景。
• 示範 LLM 可作為協調層，而資料查詢、RCA 與執行仍由專門 Agent／工具負責。

11. Confucius：Intent-Driven Network Management with Multi-Agent LLMs

原文：SIGCOMM 2025 PDF

中文摘要

LLM 的進展正顯著改變網路管理實務。本文分享 Meta 開發 Confucius 的經驗；它是用於網路管理的多代理框架，以有向無環圖（DAG）建模網管流程來輔助規劃。框架把 LLM 與既有管理工具整合，以順暢接入實際作業，並用 RAG 改善長期記憶，也建立一組 primitives，系統化支援人類與模型互動。為確保關鍵網路操作正確，Confucius 緊密整合既有網路驗證方法，並加入自己的驗證框架以防止 regression。這套 production-ready 框架已運作兩年，接入超過 60 個應用；作者認為這是第一份在 hyperscale network 使用多代理 LLM 的正式報告。

成效在做什麼

• 已在 Meta 正式環境運作 2 年，接入 60+ 個應用；這是部署規模與成熟度的證據，不是單一 benchmark 分數。
• 論文顯示多種 DSL translation 任務相對 fine-tuned Llama baseline 有改善，例如部分任務最高提升約 22.4%–35%；實際數字因 DSL 與任務而異。
• 系統在執行網路操作前後加入 validation，以避免新設定造成 regression。

主要貢獻

• 提出已在 hyperscale production 使用的 multi-agent 網管框架，而非只有實驗原型。
• 用 DAG、既有 MOP／workflow 與 domain-specific primitives 把自然語言意圖轉成可執行步驟。
• 整合 RAG、既有網管工具及 validation，涵蓋規劃、記憶、工具操作與安全驗證。

12. Optical-Network-LLM-Agent-Field-Trial：LLM Agent for Optical Network Lifecycle Management

原文：arXiv

中文摘要

本文設計並展示第一個用於自主駕駛光網路（ADON）生命週期管理的 LLM-powered AI Agent 現場試驗。作者為 Agent 提出三種操作模式。系統可有效處理波長新增／移除、soft failure 與 hard failure，並在功率最佳化上達到與人工設計演算法相當的表現。

成效在做什麼

• 現場處理 wavelength add/drop、soft failure、hard failure 與 power optimization。
• 功率最佳化表現與人工設計的演算法相當。
• 原始摘要沒有提供成功率、時間縮短或成本節省等具體數字。

主要貢獻

• 從實驗室原型走向真實光網路 field trial。
• 用三種 Agent operation modes 涵蓋網路生命週期內不同管理任務。
• 證明 LLM Agent 能協調多種光網路操作，但跨到非光網路場景仍需另外驗證。

C. Agent／自動化 Benchmark

13. NIKA：A Network Arena for Troubleshooting Agents

原文：arXiv

中文摘要

LLM 驅動的 Agent 可協助網路工程師產生設定與排障，但在動態網路中缺少標準、容易取得且低維運成本的 benchmark，阻礙了排障研究進展。本文提出 NIKA，作者稱其為當時最大的公開 LLM 網路事件診斷與排障 benchmark。NIKA 可零成本重播真實網路情境，並定義清楚的 Agent–network interface，方便快速建立 Agent 原型。它包含數百個整理過的網路事件、五種網路情境，從資料中心到 ISP 網路，共涵蓋 54 類代表性問題。整體採模組化、可擴充設計，並提供 API 加入新情境與故障案例。

成效在做什麼

• 評估 Agent 是否能在可執行的動態網路中察覺問題、定位設備並找出根因。
• 較大的模型比較常偵測到網路異常，但在 fault localization 與 root-cause identification 仍有明顯困難。
• 摘要沒有給統一成功率；其價值主要是提供數百個事件、5 種情境、54 類問題的公開可重播環境。

主要貢獻

• 建立大型、公開、可重播的動態網路排障 benchmark。
• 明確定義 Agent 與網路的互動介面，降低不同方法的比較成本。
• 揭露「發現有問題」不等於「能定位並說明根因」。

14. CTBench：Realistic Telecom Troubleshooting Benchmark

原文：arXiv

中文摘要

Agent 被逐漸用於自動化網路維運，包括診斷故障、最佳化設定、改善服務與降低成本，但既有評估未能忠實建模真實網路，也沒有在部分可觀測、跨廠商、設備、協定及介面的電信環境中測試 Agent。本文提出 CTBench，評估 Agent 是否能像稱職的電信排障工程師般工作，重點任務是 root-cause analysis 與 path restoration。每項任務都由專家建立，並標註豐富 metadata 與 golden evidence steps；評分同時檢查最終答案與診斷證據。

成效在做什麼

• 受測 Agent 在 path restoration 的端點辨識上很好，但整體 RCA 表現較差。
• 特別容易在 interface state、link layer、service management 等營運故障上失敗。
• 即使答案看似合理或正確，也常未提供維運實務要求的證據；摘要沒有提供統一百分比。

主要貢獻

• 讓 benchmark 同時評分答案與 evidence chain，而非只比最終文字。
• 納入電信網路的部分可觀測性與多廠商／多協定現實。
• 指出可採用的自動診斷必須「結論正確且證據充分」。

15. FaulT-Bench：Troubleshooting under Unreliable User Tickets

原文：arXiv

中文摘要

LLM Agent 越來越常被提議用於網路故障診斷，但既有 benchmark 只使用內容正確的 ticket，且一律假設網路真的有故障，這與實務不符。本文提出 FaulT-Bench，包含八種 topology、200 個排障情境，涵蓋真實故障、錯誤報修、設備指認錯誤及錯誤根因說法。為單獨研究 ticket 措辭的影響，作者在保持網路狀態不變的前提下，把 72 張前提錯誤的 ticket 改寫成五種報修者 persona，逐一改變信心程度與可驗證細節。自動 harness 以 Kathará 部署情境，讓 Agent 透過 NIKA tool interface 操作，並由 LLM judge 對結果、修復與推理品質評分。

成效在做什麼

• SADE、ReAct 與 Claude Code 在正確 ticket 上接近飽和，也大致能抵抗「指錯設備」。
• 當網路其實正常、ticket 卻說有問題時，三者表現大幅下降，常持續探測，最後把正常現象升格成根因，而不是回答「沒有故障」。
• ticket 的寫法比其主張內容更影響表現：自信但錯誤的回報相對容易處理，模糊且細節不足的回報反而使表現明顯惡化。

主要貢獻

• 首次把「網路可能沒壞」及不可靠報修內容納入排障 benchmark。
• 以固定網路狀態、只改 persona 措辭的方式分離語言表達造成的影響。
• 揭露 over-diagnosis：這是主動預警系統最危險的問題之一，因為模型誤報可能進一步誘發 Agent 誤修。

16. NetArena：Dynamic Benchmarks for Network Automation Agents

原文：arXiv

中文摘要

當 AI Agent 進入網路系統維運等高風險領域，可靠性評估愈加重要。然而靜態 benchmark 可能受訓練資料污染，有限題數造成高統計變異，也無法反映正式環境的複雜度。本文提出 NetArena，一套網路應用的動態 benchmark 產生框架。它以新的抽象與統一介面涵蓋異質網路工作負載，讓使用者在執行期間按需產生無限多個查詢。NetArena 串接網路 emulator，在 Agent 執行期間同時量測正確性、安全性與延遲。

成效在做什麼

• 動態產生大量題目後，不同 Agent 的 confidence-interval overlap 由 85% 降為 0，比較結果更有統計辨識力。
• 在大規模、真實查詢上，Agent 平均表現只有 13%–38%，最低達 3%。
• 能發現靜態、只看正確率的 benchmark 看不到的細粒度行為。

主要貢獻

• 以動態生成降低題目污染與小樣本不穩定問題。
• 在真實可執行環境中一起評估 correctness、safety、latency。
• 除評估外，生成的任務也可用於 SFT 與 RL fine-tuning。

17. Cornetto：Benchmarking LLM-Driven Network Configuration Repair

原文：arXiv

中文摘要

LLM 自動化複雜網路維運受到高度關注，但可靠採用前必須嚴格評估有效性與安全性。既有 benchmark 沒有檢驗 LLM 能否修復大規模、彼此相依的網路設定錯誤，同時不造成新的服務中斷。本文提出 Cornetto，作者稱其為第一個能從功能面、並在大規模下評估 LLM 網路設定修復的 benchmark。它以生成 pipeline 合成具代表性且合理的錯誤設定情境，再用 formal verification 比對 ground-truth specification，評估修復後的功能正確性。資料集包含 231 個問題、20 至 754 個節點的 topology，以及多種協定。

成效在做什麼

• 評估 9 個 state-of-the-art LLM 修復 231 個合成錯誤設定問題。
• 網路規模涵蓋 20–754 個節點。
• LLM 展現潛力，但常引入 regression，且規模愈大表現愈差；摘要沒有提供一個可概括所有模型的成功率。

主要貢獻

• 建立可擴展的設定錯誤生成 pipeline。
• 用 formal verification 檢查修復後的功能，而不是只比較文字或設定檔相似度。
• 實證 LLM 修復必須放入「提出修正—形式驗證—反覆修正」的 iterative workflow。

18. NetAgentBench：State-Centric Multi-Turn Configuration Benchmark

原文：arXiv

中文摘要

隨著 agentic network management 普及，評估方法必須超越靜態、單次回答測試。本文提出 NetAgentBench，以有限狀態機（FSM）形式化 Agent 的互動，保證執行具有確定性、正確性與有界性，從而嚴謹量測複雜的多輪網路操作行為。作者以多種網路設定任務評估四個先進 LLM Agent，發現它們雖能完成基本任務，在專家級設定中卻出現嚴重的 exploration meltdown 與 coherence collapse。研究因此主張，在邁向可信任的全自主網路前，必須系統化評估 Agent 的多輪行為穩定性。

成效在做什麼

• 評估四個 Agent 在多輪設定過程中的狀態轉移與行為穩定性。
• 基本任務可完成，但專家級任務會發生無效探索快速增加，以及前後操作失去一致性。
• 摘要沒有提供統一成功率，重點是揭露單輪 benchmark 無法觀察的長流程崩潰。

主要貢獻

• 用 FSM 為 Agent 互動建立 deterministic、correct、bounded 的測試框架。
• 評估重點從單次答案轉向多輪操作是否維持一致。
• 為「越查越亂、越改越錯」提供可重現的測試方法。

綜合比較：這些成效各自在量什麼？

對研究題目的具體啟示

若要把這些工作接成一個完整研究題目，可以定義成：

flowchart LR
    A[Telemetry / syslog / ticket] --> B[主動預測與風險評分]
    B --> C[Agent 查證警示]
    C --> D{證據足夠且真的有故障?}
    D -->|否| E[安全結束：無故障／證據不足]
    D -->|是| F[根因定位與修復計畫]
    F --> G[形式驗證／sandbox]
    G --> H[執行修復]
    H --> I[修後驗證與 rollback]

建議至少同時量測：

• 預測層：precision、recall、false-positive rate、lead time。
• 診斷層：fault detection、device localization、root-cause F1、evidence correctness。
• 安全層：healthy-network abstention、over-diagnosis rate、regression rate。
• 效率層：診斷時間、tool calls、token／推論成本。
• 閉環層：修復成功率、修後驗證通過率、rollback 成功率。

這樣才能回答的不只是「模型是否答對」，而是「從可能含有誤報的預警開始，系統能否安全地查證、診斷、修復，並證明沒有把原本正常的網路改壞」。