Prodigy

Prodigy est un outil d'annotation moderne et hautement extensible, conçu pour les scientifiques des données, les ingénieurs en machine learning et les développeurs afin de créer efficacement des données d'entraînement et d'évaluation pour les modèles d'IA. Contrairement aux logiciels d'annotation traditionnels, Prodigy est une bibliothèque Python téléchargeable qui s'intègre de manière transparente dans votre flux de travail de développement. Il met l'accent sur une approche scriptable et centrée sur le développeur, vous permettant de construire des pipelines d'annotation de données entièrement personnalisés qui sont plus de 10 fois plus efficaces que l'étiquetage manuel.

La philosophie fondamentale de Prodigy est l'apprentissage automatique avec intervention humaine ('human-in-the-loop'), où un modèle participe activement au processus d'annotation. Ceci est réalisé grâce à l'apprentissage actif, où le modèle suggère des annotations pour les tâches sur lesquelles il est le plus incertain, permettant aux annotateurs humains de concentrer leurs efforts sur les décisions les plus précieuses. Cela accélère considérablement la création d'ensembles de données de haute qualité, de référence, pour un large éventail de tâches.

Comment utiliser Prodigy

Prodigy est principalement utilisé via la ligne de commande. Le flux de travail est itératif et conçu pour être intégré dans votre environnement Python existant.

1. Installation : En tant que paquet Python, vous installez Prodigy dans votre environnement en utilisant pip.
2. Lancer une Recette (Recipe) : Vous démarrez une session d'annotation en exécutant une 'recette' depuis votre terminal. Une recette est une fonction Python qui définit l'ensemble du flux de travail, y compris le chargement des données, l'interface d'annotation et la manière dont les annotations sont sauvegardées. Prodigy est livré avec de nombreuses recettes intégrées pour des tâches courantes comme la Reconnaissance d'Entités Nommées (NER), la classification de texte et l'annotation d'images (par exemple, `Prodigy ner.manual my_dataset blank:en ./my_data.jsonl --label PERSON,ORG`).
3. Annoter dans le Navigateur : Une fois qu'une recette est en cours d'exécution, Prodigy démarre un serveur web local. Vous pouvez alors accéder à l'application web intuitive dans votre navigateur pour effectuer les tâches d'annotation. L'interface utilisateur est optimisée pour la vitesse avec des raccourcis clavier et un design épuré et ciblé.
4. Entraîner un Modèle : Après avoir collecté un nombre suffisant d'annotations, vous pouvez utiliser la commande `train` intégrée de Prodigy pour entraîner un modèle (souvent un modèle spaCy) directement à partir de vos ensembles de données annotés.
5. Itérer : Le processus est cyclique. Vous pouvez utiliser votre modèle nouvellement entraîné pour aider à annoter plus de données, effectuer une analyse des erreurs et améliorer continuellement les performances de votre modèle.

Fonctionnalités principales de Prodigy

• Scriptable et Extensible : Définissez des flux de travail, des flux de données et des interfaces d'annotation entièrement personnalisés en utilisant Python, HTML et JavaScript.
• Annotation Assistée par Modèle : Tirez parti de l'apprentissage actif en demandant à des modèles (y compris spaCy, Hugging Face Transformers et LLMs) de suggérer des annotations, ce qui augmente considérablement l'efficacité.
• Annotation Multimodale : Prend en charge une large gamme de types de données, y compris le texte (NER, classification de texte, catégorisation de segments, relations), les images (boîtes englobantes, polygones), l'audio et la vidéo.
• Confidentialité Totale des Données : Prodigy est un outil téléchargeable qui fonctionne entièrement sur vos propres machines (locales ou cloud privé). Aucune donnée ne quitte jamais vos serveurs, garantissant une conformité totale avec les exigences de confidentialité les plus strictes.
• Centré sur le Développeur : S'intègre étroitement avec des bibliothèques de ML populaires comme spaCy, PyTorch et TensorFlow. Il est conçu pour faire partie de la boîte à outils d'un développeur, et non une plateforme distincte et restrictive.
• Révision et Collaboration : Inclut des flux de travail pour réviser les annotations de plusieurs utilisateurs, résoudre les conflits et créer un ensemble de données unifié et de haute qualité.
• Pas de Verrouillage Fournisseur (No Lock-In) : Vous êtes propriétaire de vos données et des modèles que vous créez. Les annotations peuvent être facilement exportées dans un format JSONL simple pour être utilisées avec n'importe quel autre outil ou framework.

Cas d'utilisation pour Prodigy

Prodigy est utilisé par des organisations de premier plan pour des applications d'IA critiques :

• Services Financiers : S&P Global utilise Prodigy dans un environnement à haute sécurité pour extraire des informations et rendre les marchés plus transparents.
• Médias et Journalisme : The Guardian emploie Prodigy pour construire des systèmes d'extraction de citations d'articles de presse, améliorant l'analyse de contenu.
• Recherche Économique : Nesta a traité 7 millions d'offres d'emploi pour analyser le marché du travail britannique, en utilisant les recettes flexibles de Prodigy pour intégrer les LLMs dans le processus d'étiquetage.
• Technologie Juridique (Legal Tech) : Des cabinets d'avocats utilisent Prodigy pour construire des modèles de NLP qui aident à récupérer des millions en analysant des documents juridiques et des communications.
• IA Conversationnelle : Des entreprises comme Posh déploient des services Prodigy personnalisés pour construire des chatbots financiers sophistiqués pour les conversations bancaires.

Avantages de Prodigy

Prodigy se distingue des autres solutions d'annotation en étant un outil pour développeurs, et non seulement une interface d'étiquetage. Ses principaux avantages incluent une efficacité inégalée grâce à l'automatisation, un contrôle total et une confidentialité sur vos données et votre infrastructure, et une personnalisation extrême qui lui permet de s'adapter à n'importe quel projet de machine learning spécifique, aussi complexe soit-il. Le modèle de licence à vie avec paiement unique offre également une excellente valeur à long terme sans frais d'abonnement récurrents.

Tarification et plans

Prodigy propose un modèle de licence à vie, ce qui signifie que vous payez une fois et pouvez utiliser le logiciel pour toujours. Il offre des options de licence flexibles pour les particuliers et les équipes. Ce modèle garantit une confidentialité totale car aucune donnée ne quitte jamais vos serveurs et il n'y a absolument aucun verrouillage fournisseur. Les détails spécifiques de la tarification sont disponibles sur le site officiel de Prodigy.