Captum

Captumは、ラテン語の「理解」に由来し、PyTorch上に構築された拡張可能なオープンソースのモデル解釈可能性ライブラリです。AIモデルがますます複雑化する時代において、モデルの決定の背後にある「なぜ」を理解することは極めて重要です。Captumは、研究者や開発者に、モデルが特定の出力に至る過程を分析し理解するための強力なツールを提供することで、このニーズに応えます。モデルの予測を入力特徴に帰属させることで、これらの「ブラックボックス」モデルを解明し、AIをより透明で信頼性の高いものにします。

PyTorchチームによって開発・維持されているCaptumは、機械学習研究者、モデル開発者、アプリケーションエンジニアなど、幅広い層を対象としています。研究者はこれを用いて新しい解釈可能性アルゴリズムを容易に実装・ベンチマークでき、開発者はモデルのデバッグ、バイアスの特定、パフォーマンスの向上に活用できます。アプリケーションエンジニアは、その洞察を利用して、製品推薦やコンテンツフィルタリングなど、モデル駆動型の結果についてエンドユーザーに意味のある説明を提供できます。

Captumの使い方

PyTorchに精通している人なら誰でも、Captumを簡単に始めることができます。プロセスは通常、以下のステップを含みます：

1. インストール： パッケージマネージャを使用して、Python環境にライブラリをインストールします。pip install captumを実行するか、推奨されるcondaコマンドconda install captum -c pytorchを実行するだけです。
2. モデルとデータの準備： 事前学習済みのPyTorchモデルをロードし、model.eval()を呼び出して評価の準備をします。また、入力テンソルとベースラインテンソルを定義する必要があります。ベースラインは、中立的または情報のない入力（例：ゼロのテンソルやランダムノイズのテンソル）を表し、統合勾配などのアトリビューションアルゴリズムの参照点として使用されます。
3. アルゴリズムの選択とインスタンス化： Captumは幅広いアトリビューションアルゴリズムを提供しています。ニーズに合ったもの（例：勾配ベースのアトリビューションのためのIntegratedGradients）を選択し、モデルでインスタンス化します：ig = IntegratedGradients(model)。
4. アトリビューションの計算： 選択したアルゴリズムインスタンスの.attribute()メソッドを使用します。入力テンソル、ベースライン、そして説明したい出力を指定するためのターゲットクラスのインデックスを渡します。このメソッドは、入力と同じ形状のアトリビューションスコアを返します。
5. 分析と可視化： 返されたアトリビューションスコアは、各入力特徴の重要度を示します。高い正または負のスコアは、予測に強く影響した特徴を意味します。視覚データの場合、これらのスコアを使用してヒートマップ（顕著性マップ）を生成できます。Captumには、これらのアトリビューションを対話的に探索するための強力な可視化ツールCaptum Insightsも含まれています。

Captumの主な機能

• 最先端のアルゴリズム： 統合勾配（Integrated Gradients）、GradientSHAP、DeepLIFT、Saliency、Occlusion、Feature Ablation、LIMEなど、包括的なアトリビューションアルゴリズムのスイートを提供します。
• マルチモーダルサポート： ビジョン（画像）、テキスト（NLP）、および異なるデータソースを組み合わせた複雑なマルチモーダルモデル（例：Visual Question Answering）など、さまざまなデータタイプにわたるモデルの解釈をネイティブにサポートします。
• シームレスなPyTorch統合： PyTorchのコアライブラリとして、あらゆるtorch.nn.Moduleと完璧に連携し、既存のプロジェクトへのコード変更は最小限で済みます。
• 層とニューロンのアトリビューション： Layer Conductanceなどの手法を使用して、入力特徴を超えて特定の隠れ層や個々のニューロンに予測を帰属させることができ、より深いモデルの洞察を提供します。
• 拡張性： オープンソースの汎用フレームワークとして設計されており、研究者が独自の新しい解釈可能性アルゴリズムを簡単に追加、実装、ベンチマークできます。
• Captum Insights： ユーザーが特定の例のアトリビューションを理解し、異なるモデルや手法からのアトリビューションを比較し、広範な可視化コードを書かずにモデルの動作をデバッグするのに役立つ対話型可視化ウィジェットです。
• 高度な分析ツール： 特徴アトリビューションだけでなく、概念ベースの説明（TCAV）、影響力のある訓練例の特定（TracInCP）、モデルの堅牢性の評価などの機能も含まれています。

Captumの使用例

Captumの多用途性は、多くの分野で応用可能です：

• 自然言語処理（NLP）： 感情分析モデルでは、どの単語やフレーズ（例：「素晴らしい」、「ひどい」）が肯定的または否定的な分類に最も影響を与えたかを強調表示できます。BERTのような質問応答モデルでは、答えを見つけるために文脈のどの部分が最も重要であったかを示すことができます。
• コンピュータビジョン： 画像分類器が「シマウマ」を識別したとき、Captumはモデルが背景ではなく縞模様に焦点を当てたことを示すヒートマップを生成し、正しい動作を確認したり、見せかけの相関を明らかにしたりできます。
• モデルのデバッグ： モデルが予期しない予測をした場合、開発者はCaptumを使用してどの特徴がエラーを引き起こしたかを確認できます。これは、データ漏洩や訓練セットから学習したバイアスなどの問題を特定するのに役立ちます。
• 推薦システム： DLRM（深層学習推薦モデル）が特定のアイテムを推薦した理由を、特定のユーザー履歴特徴やアイテム属性に予測を帰属させることで理解します。
• ヘルスケアと科学： 医療画像では、スキャンのどの部分がモデルを診断に導いたかを研究者が理解するのに役立ち、信頼性を高め、科学的発見を支援します。

Captumの利点

Captumは、いくつかの主要な利点により、モデル解釈可能性の主要なツールとして際立っています：

• 公式PyTorchライブラリ： 公式PyTorchエコシステムの一部であるため、長期的なサポート、安定性、シームレスな統合が保証されます。
• 包括的で多用途： その幅広いアルゴリズムは、解釈可能性に関するさまざまな理論的アプローチをカバーしており、ほとんどのXAIニーズに対応するワンストップショップとなっています。
• 使いやすさ： 基礎となる手法の複雑さにもかかわらず、Captumはすべてのアルゴリズムにわたって統一されたシンプルなAPI（.attribute()メソッド）を提供します。
• オープンソースとコミュニティ主導： ライブラリは無料で使用でき、世界中の研究者や開発者のコミュニティからの貢献の恩恵を受け、解釈可能性研究の最前線にあり続けることを保証します。
• 優れたドキュメント： プロジェクトは、初心者から上級者まで対応する広範なチュートリアル、詳細なAPIドキュメント、および実践的な例を提供します。

料金プラン

Captumは、BSD 3-Clauseライセンスの下で配布される完全に無料のオープンソースライブラリです。料金プラン、サブスクリプション、隠れたコストはありません。学術研究や商用アプリケーションで自由に使用できます。