Captum

Captum, dérivé du mot latin pour « compréhension », est une bibliothèque open-source et extensible pour l'interprétabilité des modèles, construite sur PyTorch. À une époque où les modèles d'IA sont de plus en plus complexes, il est crucial de comprendre le « pourquoi » derrière la décision d'un modèle. Captum répond à ce besoin en fournissant aux chercheurs et aux développeurs des outils puissants pour disséquer et comprendre comment leurs modèles parviennent à des résultats spécifiques. Il aide à démystifier ces modèles de « boîte noire » en attribuant leurs prédictions aux caractéristiques d'entrée, rendant l'IA plus transparente et digne de confiance.

Développé et maintenu par l'équipe de PyTorch, Captum est conçu pour un large public, y compris les chercheurs en apprentissage automatique, les développeurs de modèles et les ingénieurs d'application. Les chercheurs peuvent l'utiliser pour mettre en œuvre et comparer facilement de nouveaux algorithmes d'interprétabilité, tandis que les développeurs peuvent l'exploiter pour déboguer les modèles, identifier les biais et améliorer les performances. Les ingénieurs d'application peuvent utiliser ses informations pour fournir aux utilisateurs finaux des explications significatives sur les résultats pilotés par le modèle, tels que les recommandations de produits ou le filtrage de contenu.

Comment utiliser Captum

Se lancer avec Captum est simple pour quiconque est familier avec PyTorch. Le processus implique généralement ces étapes :

1. Installation : Installez la bibliothèque dans votre environnement Python à l'aide d'un gestionnaire de paquets. C'est aussi simple que d'exécuter pip install captum ou la commande conda recommandée : conda install captum -c pytorch.
2. Préparation du modèle et des données : Chargez votre modèle PyTorch pré-entraîné et préparez-le pour l'évaluation en appelant model.eval(). Vous devez également définir votre ou vos tenseurs d'entrée et un tenseur de référence (baseline). La baseline représente une entrée neutre ou non informative (par exemple, un tenseur de zéros ou un tenseur de bruit aléatoire) et est utilisée comme point de référence pour les algorithmes d'attribution comme Integrated Gradients.
3. Sélectionner et instancier un algorithme : Captum offre une large gamme d'algorithmes d'attribution. Vous en choisissez un qui correspond à vos besoins — par exemple, IntegratedGradients pour l'attribution basée sur le gradient — et vous l'instanciez avec votre modèle : ig = IntegratedGradients(model).
4. Calculer les attributions : Utilisez la méthode .attribute() de l'instance de votre algorithme choisi. Vous passez votre tenseur d'entrée, la baseline, et souvent un indice de classe cible pour spécifier quelle sortie vous voulez expliquer. La méthode renvoie les scores d'attribution, qui ont la même forme que votre entrée.
5. Analyser et visualiser : Les scores d'attribution retournés indiquent l'importance de chaque caractéristique d'entrée. Des scores élevés, positifs ou négatifs, signifient des caractéristiques qui ont fortement influencé la prédiction. Pour les données visuelles, ces scores peuvent être utilisés pour générer des cartes de chaleur (cartes de saillance). Captum inclut également un puissant outil de visualisation, Captum Insights, pour explorer interactivement ces attributions.

Fonctionnalités principales de Captum

• Algorithmes de pointe : Fournit une suite complète d'algorithmes d'attribution, y compris Integrated Gradients, GradientSHAP, DeepLIFT, Saliency, Occlusion, Feature Ablation et LIME.
• Support multimodal : Prend en charge nativement l'interprétation de modèles sur divers types de données, y compris la vision (images), le texte (NLP) et les modèles multimodaux complexes qui combinent différentes sources de données (par exemple, Visual Question Answering).
• Intégration transparente avec PyTorch : En tant que bibliothèque principale de PyTorch, elle fonctionne parfaitement avec n'importe quel torch.nn.Module, ne nécessitant que des modifications de code minimales dans vos projets existants.
• Attribution au niveau des couches et des neurones : Vous permet d'aller au-delà des caractéristiques d'entrée et d'attribuer des prédictions à des couches cachées spécifiques et même à des neurones individuels en utilisant des méthodes comme Layer Conductance, offrant des aperçus plus profonds du modèle.
• Extensibilité : Conçu comme un framework générique et open-source, il permet aux chercheurs d'ajouter, de mettre en œuvre et de comparer facilement leurs propres nouveaux algorithmes d'interprétabilité.
• Captum Insights : Un widget de visualisation interactif qui aide les utilisateurs à comprendre les attributions pour des exemples spécifiques, à comparer les attributions de différents modèles ou méthodes, et à déboguer le comportement du modèle sans écrire de code de visualisation approfondi.
• Outils d'analyse avancés : Comprend des fonctionnalités allant au-delà de la simple attribution de caractéristiques, telles que l'explication basée sur les concepts (TCAV), l'identification d'exemples d'entraînement influents (TracInCP) et l'évaluation de la robustesse du modèle.

Cas d'utilisation pour Captum

La polyvalence de Captum le rend applicable dans de nombreux domaines :

• Traitement du langage naturel (NLP) : Pour un modèle d'analyse des sentiments, Captum peut mettre en évidence les mots ou les phrases (par exemple, « brillant », « horrible ») qui ont le plus influencé la classification positive ou négative. Dans les modèles de questions-réponses comme BERT, il peut montrer quelles parties du contexte étaient les plus importantes pour trouver la réponse.
• Vision par ordinateur : Lorsqu'un classificateur d'images identifie un « zèbre », Captum peut générer une carte de chaleur montrant que le modèle s'est concentré sur les rayures, et non sur l'arrière-plan, confirmant un comportement correct ou révélant une corrélation fallacieuse.
• Débogage de modèles : Si un modèle fait une prédiction inattendue, les développeurs peuvent utiliser Captum pour voir quelles caractéristiques ont causé l'erreur. Cela peut aider à identifier des problèmes tels que la fuite de données ou les biais appris à partir de l'ensemble d'entraînement.
• Systèmes de recommandation : Comprendre pourquoi un DLRM (Deep Learning Recommendation Model) a recommandé un article particulier en attribuant la prédiction à des caractéristiques spécifiques de l'historique de l'utilisateur ou aux attributs de l'article.
• Santé et science : En imagerie médicale, il peut aider les chercheurs à comprendre quelles parties d'un scanner ont conduit un modèle à un diagnostic, augmentant la confiance et aidant à la découverte scientifique.

Avantages de Captum

Captum se distingue comme un outil de premier plan pour l'interprétabilité des modèles en raison de plusieurs avantages clés :

• Bibliothèque officielle de PyTorch : Faire partie de l'écosystème officiel de PyTorch garantit un soutien à long terme, la stabilité et une intégration transparente.
• Complet et polyvalent : Sa large gamme d'algorithmes couvre différentes approches théoriques de l'interprétabilité, ce qui en fait une solution unique pour la plupart des besoins en XAI.
• Facilité d'utilisation : Malgré la complexité des méthodes sous-jacentes, Captum fournit une API unifiée et simple (la méthode .attribute()) pour tous les algorithmes.
• Open source et piloté par la communauté : La bibliothèque est gratuite et bénéficie des contributions d'une communauté mondiale de chercheurs et de développeurs, ce qui garantit qu'elle reste à la pointe de la recherche sur l'interprétabilité.
• Excellente documentation : Le projet propose de nombreux tutoriels, une documentation API détaillée et des exemples pratiques qui s'adressent aussi bien aux débutants qu'aux utilisateurs avancés.

Tarification et plans

Captum est une bibliothèque open-source entièrement gratuite, distribuée sous la licence BSD 3-Clause. Il n'y a pas de plans tarifaires, d'abonnements ou de coûts cachés. Elle peut être utilisée librement dans la recherche universitaire et les applications commerciales.