Segment Anything

Segment Anything (SAM) là một mô hình AI mới mang tính cách mạng do Meta AI phát triển, được thiết kế để trở thành một mô hình nền tảng cho việc phân đoạn hình ảnh. Khả năng cốt lõi của nó là "tách" hoặc phân đoạn bất kỳ vật thể nào trong bất kỳ hình ảnh nào, chỉ bằng cách cung cấp một lời nhắc (prompt). Điều này đánh dấu một bước nhảy vọt đáng kể trong lĩnh vực thị giác máy tính, hướng tới các hệ thống tổng quát và trực quan hơn, có khả năng hiểu nội dung hình ảnh ở một cấp độ sâu hơn. Sức mạnh của SAM nằm ở giao diện có thể nhắc lệnh và khả năng khái quát hóa zero-shot đáng chú ý, có nghĩa là nó có thể xác định và phân đoạn các vật thể và hình ảnh mà nó chưa từng gặp trong giai đoạn đào tạo, mà không cần thêm dữ liệu hoặc tinh chỉnh.

Mô hình này được đào tạo trên một bộ dữ liệu lớn chưa từng có, SA-1B, chứa hơn 1,1 tỷ mặt nạ phân đoạn được phân bổ trên 11 triệu hình ảnh được cấp phép cẩn thận và bảo vệ quyền riêng tư. Bộ dữ liệu khổng lồ này, được thu thập với sự trợ giúp của chính mô hình trong một vòng lặp "công cụ dữ liệu", chính là thứ mang lại cho SAM sự hiểu biết vững chắc và tổng quát về những gì cấu thành nên một vật thể.

Cách sử dụng Segment Anything

Segment Anything được thiết kế cho cả việc sử dụng tương tác thông qua bản demo trên web và để các nhà phát triển tích hợp vào các hệ thống lớn hơn.

Đối với người dùng thông thường (qua Web Demo):

1. Truy cập trang web demo của Segment Anything.
2. Tải lên hình ảnh của riêng bạn hoặc chọn một hình ảnh từ thư viện được cung cấp.
3. Tương tác với hình ảnh để phân đoạn các vật thể bằng nhiều lời nhắc khác nhau:
• Di chuột & Nhấp: Chỉ cần di chuyển chuột qua một vật thể. SAM sẽ làm nổi bật một mặt nạ tiềm năng trong thời gian thực. Nhấp để xác nhận việc phân đoạn.
• Điểm: Thêm các điểm tiền cảnh (dương) để bao gồm các phần của vật thể hoặc các điểm hậu cảnh (âm) để loại trừ các khu vực nhằm kiểm soát chính xác hơn.
• Hộp: Vẽ một hộp giới hạn xung quanh vật thể bạn muốn phân đoạn.
• Mọi thứ: Sử dụng chức năng "Everything" để SAM tự động xác định và phân đoạn tất cả các vật thể mà nó phát hiện được trong toàn bộ hình ảnh.
4. Các mặt nạ kết quả có thể được xem và phân tích trực tiếp trên trình duyệt.

Đối với nhà phát triển và nhà nghiên cứu:

1. Truy cập mã nguồn chính thức và các mô hình đã được đào tạo trước từ kho lưu trữ GitHub của Segment Anything.
2. Mô hình được tách rời về mặt kiến trúc thành một bộ mã hóa hình ảnh nặng và một bộ giải mã mặt nạ nhẹ. Phép nhúng hình ảnh được tính toán một lần cho mỗi hình ảnh.
3. Tích hợp bộ mã hóa lời nhắc và bộ giải mã mặt nạ nhẹ vào ứng dụng của bạn. Các thành phần này rất hiệu quả và có thể chạy trong thời gian thực trên CPU hoặc trong trình duyệt web.
4. Sử dụng các mặt nạ đầu ra của mô hình làm đầu vào cho các hệ thống AI khác, chẳng hạn như để theo dõi vật thể trong video, tái tạo 3D hoặc các ứng dụng chỉnh sửa ảnh nâng cao.

Tính năng chính của Segment Anything

• Phân đoạn có thể nhắc lệnh: Người dùng có thể hướng dẫn mô hình bằng các lời nhắc tương tác, bao gồm các điểm, hộp và mặt nạ. Bài báo nghiên cứu cũng khám phá các lời nhắc văn bản như một khả năng trong tương lai.
• Khái quát hóa Zero-Shot: Sở hữu sự hiểu biết chung về các vật thể, cho phép nó thực hiện phân đoạn trên các vật thể và hình ảnh không quen thuộc mà không cần đào tạo theo nhiệm vụ cụ thể.
• Tương tác thời gian thực: Một bộ giải mã mặt nạ nhẹ cho phép tạo mặt nạ hiệu quả, theo thời gian thực, chạy trong khoảng 50ms trên một CPU tiêu chuẩn.
• Thiết kế nhận biết sự mơ hồ: Đối với các lời nhắc mơ hồ (ví dụ: nhấp vào một điểm có thể thuộc về nhiều vật thể), SAM có thể tạo ra nhiều mặt nạ hợp lệ, phản ánh sự không chắc chắn vốn có.
• Đầu ra tự động cho tất cả các vật thể: Có khả năng tạo mặt nạ phân đoạn cho mọi vật thể trong một hình ảnh chỉ bằng một lệnh duy nhất.
• Mô hình và bộ dữ liệu mã nguồn mở: Cả Mô hình Segment Anything (SAM) và bộ dữ liệu khổng lồ SA-1B đều được cung cấp công khai, thúc đẩy nghiên cứu và đổi mới hơn nữa trong lĩnh vực này.

Các trường hợp sử dụng Segment Anything

Sự linh hoạt của SAM với tư cách là một mô hình nền tảng mở ra một loạt các ứng dụng rộng lớn trong nhiều ngành công nghiệp.

• Thiết kế sáng tạo và đồ họa: Dễ dàng chọn và tách các vật thể trong ảnh để xóa nền, ghép ảnh và tạo các ảnh ghép phức tạp.
• Nghiên cứu khoa học: Tăng tốc phân tích hình ảnh khoa học, chẳng hạn như phân đoạn tế bào trong hình ảnh kính hiển vi, xác định động vật trong các cuộc khảo sát sinh thái hoặc phân tích các thành tạo địa chất.
• Chú thích dữ liệu: Tăng tốc đáng kể quá trình tạo mặt nạ phân đoạn chất lượng cao để đào tạo các mô hình thị giác máy tính khác, giảm thiểu lao động thủ công và chi phí.
• Thực tế tăng cường (AR) & VR: Cho phép các ứng dụng AR hiểu được hình học và các vật thể trong môi trường của người dùng, mang lại trải nghiệm thực tế và tương tác hơn.
• Thương mại điện tử: Tự động hóa việc tạo danh sách sản phẩm chuyên nghiệp bằng cách xóa nền và tách sản phẩm khỏi ảnh.
• Hệ thống tự hành: Cung cấp một thành phần nhận thức mạnh mẽ cho robot và xe tự hành để hiểu và tương tác với các vật thể trong môi trường xung quanh.

Ưu điểm của Segment Anything

Ưu điểm chính của SAM là vai trò của nó như một thành phần chung, mạnh mẽ và dễ tiếp cận để hiểu biết thị giác. Không giống như các mô hình trước đây đòi hỏi phải đào tạo sâu rộng cho các nhiệm vụ cụ thể, khả năng zero-shot của SAM làm cho nó trở thành một giải pháp cắm và chạy cho một loạt các nhu cầu phân đoạn. Kiến trúc hiệu quả của nó đảm bảo nó có thể được triển khai trong các ứng dụng tương tác, thời gian thực. Bằng cách cung cấp mã nguồn mở cho mô hình và bộ dữ liệu phân đoạn lớn nhất từ trước đến nay, Meta AI đã cung cấp cho cộng đồng một công cụ mạnh mẽ có thể đóng vai trò là xương sống cho thế hệ tiếp theo của các ứng dụng thị giác máy tính.

Giá cả và gói dịch vụ

Segment Anything là một dự án nghiên cứu do Meta AI phát hành. Mô hình, mã nguồn và bộ dữ liệu SA-1B được cung cấp miễn phí cho các mục đích nghiên cứu và phát triển theo giấy phép mã nguồn mở. Bản demo trên web cũng được sử dụng miễn phí cho mục đích trình diễn và phi thương mại.