Prodigy

Prodigyは、データサイエンティスト、機械学習エンジニア、開発者がAIモデル用のトレーニングデータと評価データを効率的に作成するために設計された、現代的で拡張性の高いアノテーションツールです。従来のアノテーションソフトウェアとは異なり、Prodigyはダウンロード可能なPythonライブラリであり、開発ワークフローにシームレスに統合されます。スクリプト可能で開発者中心のアプローチを重視しており、手作業のラベリングよりも10倍以上効率的な完全にカスタムなデータアノテーションパイプラインを構築できます。

Prodigyの核となる哲学は、モデルがアノテーションプロセスに積極的に参加する「ヒューマンインザループ」機械学習です。これは、モデルが最も不確実なタスクに対してアノテーションを提案するアクティブラーニングによって実現され、人間のアノテーターは最も価値のある決定に集中することができます。これにより、さまざまなタスクのための高品質なゴールドスタンダードデータセットの作成が大幅に高速化されます。

Prodigyの使い方

Prodigyは主にコマンドラインを通じて操作されます。ワークフローは反復的であり、既存のPython環境に統合されるように設計されています。

1. インストール： Pythonパッケージとして、pipを使用して環境にProdigyをインストールします。
2. レシピの起動： ターミナルから「レシピ」を実行してアノテーションセッションを開始します。レシピは、データの読み込み、アノテーションインターフェース、アノテーションの保存方法など、ワークフロー全体を定義するPython関数です。Prodigyには、固有表現抽出（NER）、テキスト分類、画像アノテーションなどの一般的なタスクのための多くの組み込みレシピが付属しています（例：`Prodigy ner.manual my_dataset blank:en ./my_data.jsonl --label PERSON,ORG`）。
3. ブラウザでのアノテーション： レシピが実行されると、ProdigyはローカルWebサーバーを起動します。その後、ブラウザで直感的なWebアプリケーションにアクセスしてアノテーションタスクを実行できます。UIは、キーボードショートカットとクリーンで集中できるデザインにより、高速化のために最適化されています。
4. モデルのトレーニング： 十分な数のアノテーションを収集した後、Prodigyの組み込み`train`コマンドを使用して、アノテーション付きデータセットから直接モデル（多くの場合spaCyモデル）をトレーニングできます。
5. 反復： このプロセスは周期的です。新しくトレーニングされたモデルを使用して、さらに多くのデータにアノテーションを付け、エラー分析を行い、モデルのパフォーマンスを継続的に向上させることができます。

Prodigyの主な機能

• スクリプト可能＆拡張性： Python、HTML、JavaScriptを使用して、完全にカスタムなワークフロー、データフィード、アノテーションインターフェースを定義します。
• モデル支援アノテーション： アクティブラーニングを活用し、モデル（spaCy、Hugging Face Transformers、LLMを含む）にアノテーションを提案させることで、効率を劇的に向上させます。
• マルチモーダルアノテーション： テキスト（NER、テキスト分類、スパン分類、関係）、画像（バウンディングボックス、ポリゴン）、音声、動画など、幅広いデータタイプをサポートします。
• 完全なデータプライバシー： Prodigyは、独自のコンピューター（ローカルまたはプライベートクラウド）で完全に実行されるダウンロード可能なツールです。データがサーバーから出ることはなく、厳格なプライバシー要件を完全に遵守します。
• 開発者中心： spaCy、PyTorch、TensorFlowなどの人気のMLライブラリと緊密に統合されています。独立した制限的なプラットフォームではなく、開発者のツールキットの一部として設計されています。
• レビュー＆コラボレーション： 複数のユーザーからのアノテーションをレビューし、競合を解決し、統一された高品質のデータセットを作成するためのワークフローが含まれています。
• ロックインなし： データと作成したモデルはユーザーが所有します。アノテーションは、他のツールやフレームワークで使用するために、簡単なJSONL形式で簡単にエクスポートできます。

Prodigyの使用例

Prodigyは、重要なAIアプリケーションのために主要な組織から信頼されています：

• 金融サービス： S&P Globalは、高セキュリティ環境でProdigyを使用して情報を抽出し、市場の透明性を高めています。
• メディア＆ジャーナリズム： The Guardianは、ニュース記事からの引用抽出システムを構築するためにProdigyを使用し、コンテンツ分析を改善しています。
• 経済研究： Nestaは、英国の労働市場を分析するために700万件の求人広告を処理し、Prodigyの柔軟なレシピを使用してラベリングプロセスにLLMを組み込みました。
• リーガルテック： 法律事務所は、法的文書や通信を分析して数百万ドルを回収するのに役立つNLPモデルを構築するためにProdigyを使用しています。
• 対話型AI： Poshのような企業は、銀行の会話のための高度な金融チャットボットを構築するために、カスタマイズされたProdigyサービスを展開しています。

Prodigyの利点

Prodigyが他のアノテーションソリューションと一線を画すのは、単なるラベリングインターフェースではなく、開発者ツールである点です。その主な利点には、自動化による比類のない効率、データとインフラストラクチャに対する完全な制御とプライバシー、そしてどんなに複雑であっても特定の機械学習プロジェクトに適応できる極めて高いカスタマイズ性が含まれます。一度支払うだけの永久ライセンスモデルは、定期的なサブスクリプション料金なしで優れた長期的な価値を提供します。

料金プラン

Prodigyは永久ライセンスモデルを提供しており、一度支払うだけでソフトウェアを永久に使用できます。個人とチームの両方に柔軟なライセンスオプションを提供しています。このモデルは、データがサーバーから出ることがないため完全なプライバシーを保証し、ベンダーロックインは一切ありません。具体的な価格の詳細はProdigyの公式ウェブサイトで確認できます。