Captum

Captum，其名稱源自拉丁語「理解」，是一個基於 PyTorch 建構的、可擴展的開源模型可解釋性函式庫。在人工智慧模型日益複雜的時代，理解模型決策背後的「為什麼」至關重要。Captum 透過為研究人員和開發人員提供強大的工具來剖析和理解他們的模型如何得出特定輸出來滿足此一需求。它透過將模型的預測歸因於輸入特徵，幫助揭開這些「黑箱」模型的神秘面紗，使人工智慧更加透明和值得信賴。

Captum 由 PyTorch 團隊開發和維護，面向廣泛的受眾，包括機器學習研究人員、模型開發人員和應用工程師。研究人員可以用它來輕鬆實現和基準測試新的可解釋性演算法，而開發人員可以利用它來偵錯模型、識別偏見和提高效能。應用工程師可以利用其洞察力，為終端使用者提供關於模型驅動結果（如產品推薦或內容過濾）的有意義的解釋。

如何使用 Captum

對於任何熟悉 PyTorch 的人來說，上手 Captum 都非常簡單。該過程通常包括以下步驟：

1. 安裝： 使用套件管理器將函式庫安裝到您的 Python 環境中。只需執行 pip install captum 或推薦的 conda 指令：conda install captum -c pytorch。
2. 模型和資料準備： 載入您預訓練的 PyTorch 模型，並透過呼叫 model.eval() 為其評估做準備。您還需要定義輸入張量和基準線張量。基準線代表一個中性或無資訊的輸入（例如，一個零張量或隨機噪聲張量），並被用作整合梯度等歸因演算法的參考點。
3. 選擇並實例化演算法： Captum 提供了廣泛的歸因演算法。您可以選擇一個適合您需求的演算法——例如，用於基於梯度的歸因的 IntegratedGradients——並用您的模型實例化它：ig = IntegratedGradients(model)。
4. 計算歸因： 使用您選擇的演算法實例的 .attribute() 方法。您傳入輸入張量、基準線，並且通常還有一個目標類別索引，以指定您想要解釋哪個輸出。該方法返回與您的輸入形狀相同的歸因分數。
5. 分析和視覺化： 返回的歸因分數表示每個輸入特徵的重要性。高的正或負分數表示對預測有強烈影響的特徵。對於視覺資料，這些分數可用於生成熱圖（顯著性圖）。Captum 還包括一個強大的視覺化工具 Captum Insights，用於互動式地探索這些歸因。

Captum 的核心功能

• 最先進的演算法： 提供一套全面的歸因演算法，包括整合梯度（Integrated Gradients）、梯度 SHAP（GradientSHAP）、DeepLIFT、顯著性（Saliency）、遮蔽（Occlusion）、特徵消融（Feature Ablation）和 LIME。
• 多模態支援： 原生支援解釋跨各種資料類型的模型，包括視覺（圖像）、文字（NLP）和結合不同資料來源的複雜多模態模型（例如，視覺問答）。
• 無縫的 PyTorch 整合： 作為 PyTorch 的核心函式庫，它與任何 torch.nn.Module 完美配合，對您現有專案的程式碼更改要求極少。
• 層和神經元歸因： 允許您超越輸入特徵，使用層傳導（Layer Conductance）等方法將預測歸因於特定的隱藏層甚至單個神經元，從而提供更深層次的模型洞察。
• 可擴展性： 設計為一個開源的通用框架，它允許研究人員輕鬆添加、實現和基準測試他們自己的新型可解釋性演算法。
• Captum Insights： 一個互動式視覺化小工具，幫助使用者理解特定範例的歸因，比較不同模型或方法的歸因，並在不編寫大量視覺化程式碼的情況下偵錯模型行為。
• 進階分析工具： 包括不僅僅是特徵歸因的功能，例如基於概念的解釋（TCAV）、識別有影響力的訓練樣本（TracInCP）和評估模型穩健性。

Captum 的使用案例

Captum 的多功能性使其適用於眾多領域：

• 自然語言處理 (NLP)： 對於情感分析模型，Captum 可以突顯哪些詞或短語（例如「精彩」、「糟糕」）對正面或負面分類的影響最大。在像 BERT 這樣的問答模型中，它可以顯示上下文的哪些部分對於找到答案最重要。
• 電腦視覺： 當圖像分類器識別出「斑馬」時，Captum 可以生成一個熱圖，顯示模型關注的是條紋而不是背景，從而確認其行為正確或揭示虛假關聯。
• 模型偵錯： 如果模型做出意外的預測，開發人員可以使用 Captum 查看是哪些特徵導致了錯誤。這有助於識別諸如資料洩漏或從訓練集中學到的偏見等問題。
• 推薦系統： 透過將預測歸因於特定的使用者歷史特徵或物品屬性，理解為什麼 DLRM（深度學習推薦模型）推薦了某個特定物品。
• 醫療保健與科學： 在醫學影像中，它可以幫助研究人員理解掃描的哪些部分導致模型做出診斷，從而增加信任並有助於科學發現。

Captum 的優勢特點

Captum 因其幾個關鍵優勢而成為模型可解釋性的領先工具：

• PyTorch 官方函式庫： 作為 PyTorch 官方生態系統的一部分，保證了長期的支援、穩定性和無縫整合。
• 全面且通用： 其廣泛的演算法涵蓋了不同的可解釋性理論方法，使其成為滿足大多數 XAI 需求的一站式解決方案。
• 易於使用： 儘管底層方法複雜，Captum 在所有演算法中都提供了一個統一且簡單的 API（.attribute() 方法）。
• 開源和社群驅動： 該函式庫免費使用，並受益於全球研究人員和開發人員社群的貢獻，確保其始終處於可解釋性研究的前沿。
• 優秀的文件： 該專案提供廣泛的教學、詳細的 API 文件和實踐範例，滿足初學者和進階使用者的需求。

定價和計劃

Captum 是一個完全免費的開源函式庫，根據 BSD 3-Clause 授權條款分發。沒有定價計劃、訂閱或隱藏費用。它可以免費使用於學術研究和商業應用。