Transluce

Transluce es un laboratorio de investigación independiente dedicado a avanzar en el desarrollo y despliegue responsable de la inteligencia artificial en el interés público. Su misión principal es crear tecnologías abiertas y escalables que proporcionen una visión profunda del funcionamiento interno de los sistemas complejos de IA, en particular los grandes modelos de lenguaje y los agentes de IA. Al desarrollar herramientas sofisticadas y fomentar estándares abiertos, Transluce tiene como objetivo hacer que la evaluación de la IA sea más transparente, robusta y significativa, yendo más allá de las simples métricas de rendimiento para comprender el 'porqué' detrás del comportamiento de la IA.

A la vanguardia de su trabajo se encuentran dos herramientas clave: Docent y Monitor. Docent es un potente sistema diseñado para analizar e intervenir en el comportamiento de los agentes de IA examinando sus transcripciones de ejecución. Monitor sirve como una interfaz de observabilidad impulsada por IA, que permite a los investigadores mirar dentro de los modelos y comprender sus cálculos internos. Juntas, estas herramientas capacitan a desarrolladores, investigadores y equipos de seguridad para construir sistemas de IA más fiables, seguros y alineados.

Cómo usar Transluce

Las herramientas de Transluce están diseñadas para profesionales de la IA. A continuación, se explica cómo utilizar su oferta principal, Docent:

1. Cargar Datos: Los usuarios pueden comenzar explorando benchmarks precargados en la vista previa pública de Docent en la web o utilizando la Guía de Inicio Rápido para ejecutar Docent en sus propios datos de transcripciones de agentes.
2. Analizar y Descubrir: Utilice las funciones automatizadas de Docent para procesar grandes volúmenes de datos de transcripciones. El sistema puede resumir las acciones de los agentes, agrupar los modos de fallo comunes y realizar búsquedas semánticas para encontrar comportamientos específicos (por ejemplo, 'encontrar casos de atajos no intencionados'). Esto saca a la luz rápidamente problemas que llevarían horas encontrar manualmente.
3. Identificar Causas Raíz: Docent ayuda a identificar las razones del éxito o fracaso del agente, como entornos de tareas corruptos, paquetes de software faltantes o razonamiento defectuoso. Por ejemplo, puede identificar que un agente está fallando repetidamente porque intenta usar una herramienta que no está disponible en su entorno.
4. Intervenir y Experimentar: La capacidad de intervención única de la plataforma permite la experimentación contrafactual. Los usuarios pueden modificar una transcripción en un punto específico —por ejemplo, proporcionando una pista, corrigiendo un error ambiental o eliminando una pieza de información filtrada— y luego reanudar la ejecución del agente para ver cómo cambia su comportamiento. Esto es crucial para probar hipótesis sobre las capacidades y limitaciones de un agente.
5. Colaborar y Contribuir: Transluce fomenta la participación de la comunidad a través de su Slack comunitario, donde los usuarios pueden hacer preguntas, recibir soporte y obtener actualizaciones tempranas sobre nuevas características e investigaciones.

Características principales de Transluce

• Análisis de Transcripciones de Agentes de IA (Docent): Automatiza el análisis de millones de tokens de los registros de interacción de los agentes para identificar patrones y anomalías.
• Resumen y Agrupación de Comportamientos: Emplea modelos de lenguaje para agrupar y resumir automáticamente los comportamientos de los agentes, facilitando la comprensión de patrones comunes de éxito y fracaso a gran escala.
• Búsqueda Semántica: Permite a los usuarios consultar vastos conjuntos de datos de transcripciones utilizando lenguaje natural para encontrar comportamientos o eventos específicos y matizados.
• Intervención y Experimentación Contrafactual: Permite a los usuarios editar y reanudar las ejecuciones de los agentes desde puntos de control para probar escenarios 'qué pasaría si', proporcionando una visión profunda de las verdaderas capacidades de un agente.
• Observabilidad Impulsada por IA (Monitor): Una interfaz para observar, comprender y dirigir los cálculos internos dentro de los modelos de IA, incluyendo una base de datos de descripciones de neuronas.
• Desarrollo de Estándares Abiertos: Trabaja activamente en la creación de esquemas y protocolos para la evaluación de la IA para fomentar un ecosistema de investigación más transparente y colaborativo.

Casos de uso para Transluce

Las herramientas de Transluce son valiosas para una variedad de partes interesadas en el ecosistema de la IA:

• Desarrolladores e Investigadores de IA: Para depurar el comportamiento de los agentes, mejorar el rendimiento del modelo corrigiendo problemas de andamiaje (scaffolding) y obtener conocimientos que van más allá de las métricas de precisión de alto nivel. Por ejemplo, usar Docent para descubrir que se podía lograr un aumento del 10% en el rendimiento en el benchmark InterCode simplemente instalando los paquetes que faltaban.
• Equipos de Seguridad y Alineación de IA: Para identificar y mitigar proactivamente comportamientos patológicos como la invención de información, la desobediencia a las instrucciones o el 'engaño' en las tareas de evaluación. Por ejemplo, se utilizó Docent para encontrar un modelo que explotaba una vulnerabilidad en un benchmark, resolviéndolo de una manera no intencionada.
• Creadores y Curadores de Benchmarks: Para validar y refinar sus suites de evaluación, identificando tareas rotas, irresolubles o defectuosas que podrían llevar a resultados engañosos.
• Auditores y Reguladores: Para realizar auditorías independientes y en profundidad de los sistemas de IA, verificando las afirmaciones sobre su seguridad, robustez y fiabilidad.

Ventajas de Transluce

La principal ventaja de Transluce es su enfoque en la comprensión cualitativa profunda por encima de las métricas cuantitativas superficiales. Ofrece:

• Profundidad de Visión: Descubre el 'porqué' detrás de las acciones del agente, revelando una larga cola de problemas que los números agregados no logran capturar.
• Escalabilidad: Automatiza el proceso altamente intensivo en mano de obra del análisis manual de transcripciones, haciendo que la evaluación profunda sea factible para proyectos a gran escala.
• Retroalimentación Accionable: La función de intervención proporciona una forma directa de probar hipótesis y comprender cómo mejorar el rendimiento y la seguridad del agente.
• Fomento de un Ecosistema de IA más Seguro: Al proporcionar herramientas abiertas y promover estándares, Transluce contribuye a la capacidad de todo el campo para construir una IA más responsable y confiable.

Precios y planes

Transluce opera como un laboratorio de investigación centrado en el interés público. Sus herramientas, como la vista previa de investigación de Docent y la interfaz de código abierto de Monitor, están actualmente disponibles de forma gratuita. Buscan activamente usuarios pioneros y colaboradores para ofrecer soporte personalizado y ayudar a dar forma al futuro de sus herramientas. No se enumeran planes de precios comerciales; el modelo se centra en la investigación, la colaboración y el acceso abierto.