Segment Anything

Segment Anything (SAM)は、Meta AIによって開発された革命的な新しいAIモデルであり、画像セグメンテーションの基盤モデルとして設計されています。その中核的な能力は、プロンプトを提供するだけで、あらゆる画像内の任意のオブジェクトを「切り抜く」、つまりセグメント化することです。これはコンピュータビジョンにおける重要な飛躍を示し、視覚コンテンツをより深いレベルで理解する、より汎用的で直感的なシステムへの移行を意味します。SAMの力は、プロンプト可能なインターフェースと、ゼロショット汎化という驚くべき能力にあります。これは、追加のデータやファインチューニングを必要とせずに、トレーニング段階で遭遇したことのないオブジェクトや画像を識別し、セグメント化できることを意味します。

このモデルは、1100万枚の慎重にライセンスされ、プライバシーが保護された画像にわたる11億以上のセグメンテーションマスクを含む、前例のない大規模なデータセットSA-1Bでトレーニングされました。この巨大なデータセットは、「データエンジン」ループでモデル自体の助けを借りて収集されたものであり、SAMにオブジェクトとは何かについての堅牢で汎化された理解を与えています。

Segment Anythingの使い方

Segment Anythingは、ウェブデモを介した対話的な使用と、開発者による大規模システムへの統合の両方を目的として設計されています。

一般ユーザー向け（ウェブデモ経由）：

1. Segment Anythingのデモウェブサイトにアクセスします。
2. 自分の画像をアップロードするか、提供されているギャラリーから1つ選択します。
3. さまざまなプロンプトを使用して画像と対話し、オブジェクトをセグメント化します：
• ホバー＆クリック：オブジェクトの上にマウスを移動させるだけです。SAMはリアルタイムで潜在的なマスクをハイライト表示します。クリックしてセグメンテーションを確定します。
• ポイント：オブジェクトの一部を含めるために前景（正）ポイントを追加したり、より正確な制御のために領域を除外するために背景（負）ポイントを追加したりします。
• ボックス：セグメント化したいオブジェクトの周りにバウンディングボックスを描画します。
• すべて：「Everything」機能を使用して、SAMに画像全体で検出したすべてのオブジェクトを自動的に識別させ、セグメント化させます。
4. 結果のマスクはブラウザで直接表示および分析できます。

開発者および研究者向け：

1. Segment AnythingのGitHubリポジトリから公式コードと事前トレーニング済みモデルにアクセスします。
2. モデルは、アーキテクチャ的に重い画像エンコーダと軽量のマスクデコーダに分離されています。画像埋め込みは画像ごとに1回計算されます。
3. 軽量のプロンプトエンコーダとマスクデコーダをアプリケーションに統合します。これらのコンポーネントは非常に効率的で、CPUやウェブブラウザでリアルタイムに実行できます。
4. モデルの出力マスクを、ビデオオブジェクトトラッキング、3D再構成、高度な画像編集アプリケーションなど、他のAIシステムの入力として使用します。

Segment Anythingの主な機能

• プロンプト可能なセグメンテーション：ユーザーは、ポイント、ボックス、マスクなどの対話型プロンプトでモデルをガイドできます。研究論文では、将来の可能性としてテキストプロンプトも探求されています。
• ゼロショット汎化：オブジェクトに関する一般的な理解を持っており、タスク固有のトレーニングなしに、未知のオブジェクトや画像に対してセグメンテーションを実行できます。
• リアルタイムの対話性：軽量のマスクデコーダにより、効率的なリアルタイムのマスク生成が可能で、標準的なCPUで約50ミリ秒で実行されます。
• 曖昧さへの対応設計：曖昧なプロンプト（例：複数のオブジェクトに属する可能性のある点をクリック）に対して、SAMは複数の有効なマスクを生成でき、固有の不確実性を反映します。
• 全オブジェクトの自動出力：単一のコマンドで画像内のすべてのオブジェクトのセグメンテーションマスクを生成できます。
• オープンソースのモデルとデータセット：Segment Anythingモデル（SAM）と巨大なSA-1Bデータセットの両方が公開されており、この分野のさらなる研究と革新を促進しています。

Segment Anythingの使用例

基盤モデルとしてのSAMの汎用性は、数多くの産業にわたる広範なアプリケーションを開拓します。

• クリエイティブおよびグラフィックデザイン：写真内のオブジェクトを簡単に選択・分離し、背景の除去、合成、複雑なコラージュの作成に利用します。
• 科学研究：顕微鏡画像での細胞のセグメンテーション、生態調査での動物の識別、地質構造の分析など、科学画像の分析を加速します。
• データアノテーション：他のコンピュータビジョンモデルをトレーニングするための高品質なセグメンテーションマスクの作成プロセスを劇的に高速化し、手作業とコストを削減します。
• 拡張現実（AR）＆VR：ARアプリケーションがユーザーの環境内のジオメトリやオブジェクトを理解できるようにし、より現実的でインタラクティブな体験を可能にします。
• Eコマース：写真から背景を削除し、製品を分離することで、プロフェッショナルな商品リストの作成を自動化します。
• 自律システム：ロボットや自動運転車が周囲のオブジェクトを理解し、対話するための強力な知覚コンポーネントを提供します。

Segment Anythingの利点

SAMの主な利点は、視覚理解のための汎用的で強力、かつアクセスしやすいコンポーネントとしての役割です。特定のタスクのために広範なトレーニングを必要とした以前のモデルとは異なり、SAMのゼロショット能力は、幅広いセグメンテーションニーズに対するプラグアンドプレイのソリューションとなります。その効率的なアーキテクチャにより、対話型のリアルタイムアプリケーションに展開できます。Meta AIは、モデルと史上最大のセグメンテーションデータセットをオープンソース化することで、次世代のコンピュータビジョンアプリケーションのバックボーンとなりうる強力なツールをコミュニティに提供しました。

料金プラン

Segment AnythingはMeta AIが発表した研究プロジェクトです。モデル、コード、およびSA-1Bデータセットは、オープンソースライセンスの下で研究開発目的で無料で利用できます。ウェブデモも、デモンストレーションおよび非商用目的で無料で使用できます。