Segment Anything

Segment Anything (SAM) 是由 Meta AI 開發的一款革命性的新型人工智慧模型，旨在成為影像分割的基礎模型。其核心能力是透過簡單的提示，「擷取出」或分割任何影像中的任何物體。這標誌著電腦視覺領域的一次重大飛躍，朝著更通用、更直觀的系統邁進，這些系統能在更深層次上理解視覺內容。SAM 的強大之處在於其可提示的互動介面和卓越的零樣本泛化能力，這意味著它能夠識別和分割在訓練階段從未見過的物體和影像，而無需額外的資料或微調。

該模型在一個前所未有的大型資料集 SA-1B 上進行訓練，該資料集包含超過11億個分割遮罩，分佈在1100萬張經過仔細授權和隱私保護的影像中。這個龐大的資料集是在模型自身的幫助下，透過一個「資料引擎」循環收集的，正是它賦予了 SAM 對何謂物體的穩健和泛化的理解。

如何使用 Segment Anything

Segment Anything 既可透過其網頁演示進行互動式使用，也可由開發人員整合到更大的系統中。

對於一般使用者（透過網頁演示）：

1. 前往 Segment Anything 演示網站。
2. 上傳您自己的影像或從提供的圖庫中選擇一張。
3. 使用各種提示與影像互動以分割物體：
• 懸停並點擊：只需將滑鼠移動到物體上。SAM 將即時高亮顯示一個可能的遮罩。點擊以確認分割。
• 點：新增前景（正）點以包含物體的部份，或新增背景（負）點以排除區域，從而實現更精確的控制。
• 框：在您希望分割的物體周圍繪製一個邊界框。
• 一切：使用「Everything」功能，讓 SAM 自動識別並分割它在整個影像中偵測到的所有物體。
4. 產生的遮罩可以直接在瀏覽器中檢視和分析。

對於開發者和研究人員：

1. 從 Segment Anything 的 GitHub 儲存庫存取官方程式碼和預訓練模型。
2. 該模型在架構上解耦為一個重型的影像編碼器和一個輕量級的遮罩解碼器。影像嵌入對每張影像只計算一次。
3. 將輕量級的提示編碼器和遮罩解碼器整合到您的應用程式中。這些組件效率極高，可以在 CPU 或網頁瀏覽器中即時運行。
4. 將模型的輸出遮罩用作其他 AI 系統的輸入，例如用於影片物體追蹤、3D重建或進階影像編輯應用。

Segment Anything 的核心功能

• 可提示分割：使用者可以使用互動式提示（包括點、框和遮罩）來指導模型。研究論文還探討了將文字提示作為未來的可能性。
• 零樣本泛化：對物體有普遍的理解，使其能夠在無需特定任務訓練的情況下，對不熟悉的物體和影像執行分割。
• 即時互動性：輕量級的遮罩解碼器可實現高效、即時的遮罩生成，在標準 CPU 上的運行時間約為50毫秒。
• 歧義感知設計：對於模棱兩可的提示（例如，點擊一個可能屬於多個物體的點），SAM 可以生成多個有效的遮罩，反映了固有的不確定性。
• 自動輸出所有物體：能夠透過單個命令為影像中的每個物體生成分割遮罩。
• 開源模型和資料集：Segment Anything 模型（SAM）和龐大的 SA-1B 資料集都已公開可用，促進了該領域的進一步研究和創新。

Segment Anything 的使用案例

SAM 作為一個基礎模型的多功能性，為眾多行業開闢了廣泛的應用前景。

• 創意與圖形設計：輕鬆選擇和分離照片中的物體，用於背景移除、影像合成和創建複雜的拼貼畫。
• 科學研究：加速科學影像的分析，例如在顯微鏡影像中分割細胞、在生態調查中識別動物或分析地質構造。
• 資料標註：極大地加快為訓練其他電腦視覺模型創建高品質分割遮罩的過程，減少了人工勞動和成本。
• 擴增實境（AR）與虛擬實境（VR）：使 AR 應用能夠理解使用者環境中的幾何形狀和物體，從而實現更逼真和互動的體驗。
• 電子商務：透過從照片中移除背景和分離產品，自動化創建專業的產品列表。
• 自主系統：為機器人和自動駕駛車輛提供強大的感知組件，以理解並與其周圍的物體互動。

Segment Anything 的優勢特點

SAM 的主要優勢在於它作為一個通用、強大且易於存取的視覺理解組件的角色。與以往需要針對特定任務進行大量訓練的模型不同，SAM 的零樣本能力使其成為滿足各種分割需求的即插即用解決方案。其高效的架構確保了它可以部署在互動式的即時應用中。透過開源模型和有史以來最大的分割資料集，Meta AI 為社群提供了一個強大的工具，可以作為下一代電腦視覺應用的支柱。

定價和計劃

Segment Anything 是 Meta AI 發布的一個研究項目。該模型、程式碼和 SA-1B 資料集在開源授權下免費提供給研究和開發目的使用。網頁演示也免費用于演示和非商業目的。