Transluce

Transluce est un laboratoire de recherche indépendant dédié à la promotion du développement et du déploiement responsables de l'intelligence artificielle dans l'intérêt public. Sa mission principale est de créer des technologies ouvertes et évolutives qui offrent des aperçus approfondis du fonctionnement interne des systèmes d'IA complexes, en particulier les grands modèles de langage et les agents d'IA. En développant des outils sophistiqués et en favorisant des normes ouvertes, Transluce vise à rendre l'évaluation de l'IA plus transparente, robuste et significative, en allant au-delà des simples mesures de performance pour comprendre le « pourquoi » derrière le comportement de l'IA.

Au premier plan de leur travail se trouvent deux outils clés : Docent et Monitor. Docent est un système puissant conçu pour analyser et intervenir sur le comportement des agents d'IA en examinant leurs transcriptions d'exécution. Monitor sert d'interface d'observabilité pilotée par l'IA, permettant aux chercheurs de regarder à l'intérieur des modèles et de comprendre leurs calculs internes. Ensemble, ces outils permettent aux développeurs, aux chercheurs et aux équipes de sécurité de construire des systèmes d'IA plus fiables, sûrs et alignés.

Comment utiliser Transluce

Les outils de Transluce sont conçus pour les professionnels de l'IA. Voici comment utiliser leur offre principale, Docent :

1. Charger les Données : Les utilisateurs peuvent commencer par explorer des benchmarks préchargés dans l'aperçu public de Docent sur le web ou en utilisant le Guide de Démarrage Rapide fourni pour exécuter Docent sur leurs propres données de transcription d'agents.
2. Analyser et Découvrir : Utilisez les fonctionnalités automatisées de Docent pour traiter de grands volumes de données de transcription. Le système peut résumer les actions des agents, regrouper les modes d'échec courants et effectuer des recherches sémantiques pour trouver des comportements spécifiques (par exemple, « trouver des cas de raccourcis non intentionnels »). Cela met rapidement en évidence des problèmes qui prendraient des heures à trouver manuellement.
3. Identifier les Causes Profondes : Docent aide à identifier les raisons du succès ou de l'échec de l'agent, telles que des environnements de tâches corrompus, des paquets logiciels manquants ou un raisonnement défectueux. Par exemple, il peut identifier qu'un agent échoue à plusieurs reprises parce qu'il essaie d'utiliser un outil qui n'est pas disponible dans son environnement.
4. Intervenir et Expérimenter : La capacité d'intervention unique de la plateforme permet l'expérimentation contrefactuelle. Les utilisateurs peuvent modifier une transcription à un point spécifique — par exemple, en fournissant un indice, en corrigeant une erreur environnementale ou en supprimant une information divulguée — puis reprendre l'exécution de l'agent pour voir comment son comportement change. C'est crucial pour tester des hypothèses sur les capacités et les limites d'un agent.
5. Collaborer et Contribuer : Transluce encourage la participation de la communauté via son Slack communautaire, où les utilisateurs peuvent poser des questions, recevoir du soutien et obtenir des mises à jour précoces sur les nouvelles fonctionnalités et recherches.

Fonctionnalités principales de Transluce

• Analyse des Transcriptions d'Agents d'IA (Docent) : Automatise l'analyse de millions de jetons provenant des journaux d'interaction des agents pour identifier des modèles et des anomalies.
• Résumé et Regroupement Comportemental : Emploie des modèles de langage pour regrouper et résumer automatiquement les comportements des agents, facilitant la compréhension des schémas de succès et d'échec courants à grande échelle.
• Recherche Sémantique : Permet aux utilisateurs d'interroger de vastes ensembles de données de transcription en utilisant le langage naturel pour trouver des comportements ou des événements spécifiques et nuancés.
• Intervention et Expérimentation Contrefactuelles : Permet aux utilisateurs de modifier et de reprendre les exécutions des agents à partir de points de contrôle pour tester des scénarios « et si », offrant des aperçus approfondis des véritables capacités d'un agent.
• Observabilité Pilotée par l'IA (Monitor) : Une interface pour observer, comprendre et diriger les calculs internes au sein des modèles d'IA, y compris une base de données de descriptions de neurones.
• Développement de Normes Ouvertes : Travaille activement à la création de schémas et de protocoles pour l'évaluation de l'IA afin de favoriser un écosystème de recherche plus transparent et collaboratif.

Cas d'utilisation pour Transluce

Les outils de Transluce sont précieux pour un éventail d'acteurs de l'écosystème de l'IA :

• Développeurs et Chercheurs en IA : Pour déboguer le comportement des agents, améliorer les performances des modèles en corrigeant les problèmes de 'scaffolding' (échafaudage), et obtenir des informations qui vont au-delà des mesures de précision de haut niveau. Par exemple, utiliser Docent pour découvrir qu'une augmentation de 10 % des performances sur le benchmark InterCode était possible simplement en installant les paquets manquants.
• Équipes de Sécurité et d'Alignement de l'IA : Pour identifier et atténuer de manière proactive les comportements pathologiques comme la fabrication d'informations, la désobéissance aux instructions ou la « triche » sur les tâches d'évaluation. Par exemple, Docent a été utilisé pour trouver un modèle qui exploitait une vulnérabilité dans un benchmark, le résolvant d'une manière non intentionnelle.
• Créateurs et Conservateurs de Benchmarks : Pour valider et affiner leurs suites d'évaluation en identifiant les tâches défectueuses, insolubles ou erronées qui pourraient conduire à des résultats trompeurs.
• Auditeurs et Régulateurs : Pour mener des audits indépendants et approfondis des systèmes d'IA, en vérifiant les affirmations sur leur sécurité, leur robustesse et leur fiabilité.

Avantages de Transluce

Le principal avantage de Transluce est son accent sur la compréhension qualitative approfondie plutôt que sur les mesures quantitatives superficielles. Il offre :

• Profondeur d'Analyse : Révèle le « pourquoi » derrière les actions de l'agent, mettant en lumière une longue traîne de problèmes que les chiffres agrégés ne parviennent pas à capturer.
• Évolutivité : Automatise le processus très laborieux de l'analyse manuelle des transcriptions, rendant l'évaluation approfondie réalisable pour les projets à grande échelle.
• Retour d'Information Actionnable : La fonction d'intervention offre un moyen direct de tester des hypothèses et de comprendre comment améliorer les performances et la sécurité de l'agent.
• Promotion d'un Écosystème d'IA plus Sûr : En fournissant des outils ouverts et en promouvant des normes, Transluce contribue à la capacité de l'ensemble du domaine à construire une IA plus responsable et digne de confiance.

Tarification et plans

Transluce fonctionne comme un laboratoire de recherche axé sur l'intérêt public. Leurs outils, tels que l'aperçu de recherche de Docent et l'interface open-source de Monitor, sont actuellement disponibles gratuitement. Ils recherchent activement des premiers utilisateurs et des collaborateurs pour un soutien personnalisé et pour aider à façonner l'avenir de leurs outils. Il n'y a pas de plans tarifaires commerciaux listés ; le modèle est centré sur la recherche, la collaboration et l'accès libre.