Segment Anything

Segment Anything (SAM) est un nouveau modèle d'IA révolutionnaire développé par Meta AI, conçu pour être un modèle fondamental pour la segmentation d'images. Sa capacité principale est de « détourer » ou de segmenter n'importe quel objet dans n'importe quelle image, simplement en fournissant une invite (prompt). Cela marque une avancée significative en vision par ordinateur, évoluant vers des systèmes plus généralisés et intuitifs qui comprennent le contenu visuel à un niveau plus profond. La puissance de SAM réside dans son interface pilotable par invites et sa remarquable capacité de généralisation zero-shot, ce qui signifie qu'il peut identifier et segmenter des objets et des images qu'il n'a jamais rencontrés pendant sa phase d'entraînement, sans nécessiter de données supplémentaires ou de réglage fin.

Le modèle a été entraîné sur un ensemble de données d'une taille sans précédent, SA-1B, qui contient plus de 1,1 milliard de masques de segmentation répartis sur 11 millions d'images soigneusement licenciées et respectueuses de la vie privée. Cet ensemble de données massif, collecté avec l'aide du modèle lui-même dans une boucle de « moteur de données », est ce qui confère à SAM sa compréhension robuste et généralisée de ce qui constitue un objet.

Comment utiliser Segment Anything

Segment Anything est conçu à la fois pour une utilisation interactive via sa démo web et pour une intégration dans des systèmes plus vastes par les développeurs.

Pour les utilisateurs généraux (via la démo web) :

1. Accédez au site web de la démo de Segment Anything.
2. Téléchargez votre propre image ou choisissez-en une dans la galerie fournie.
3. Interagissez avec l'image pour segmenter des objets à l'aide de diverses invites :
• Survoler et cliquer : Déplacez simplement votre souris sur un objet. SAM mettra en surbrillance un masque potentiel en temps réel. Cliquez pour confirmer la segmentation.
• Points : Ajoutez des points de premier plan (positifs) pour inclure des parties d'un objet ou des points d'arrière-plan (négatifs) pour exclure des zones pour un contrôle plus précis.
• Boîte : Dessinez une boîte englobante autour de l'objet que vous souhaitez segmenter.
• Tout : Utilisez la fonction « Everything » pour que SAM identifie et segmente automatiquement tous les objets qu'il détecte dans l'image entière.
4. Les masques résultants peuvent être visualisés et analysés directement dans le navigateur.

Pour les développeurs et les chercheurs :

1. Accédez au code officiel et aux modèles pré-entraînés depuis le dépôt GitHub de Segment Anything.
2. Le modèle est architecturalement découplé en un encodeur d'image lourd et un décodeur de masque léger. L'intégration de l'image est calculée une fois par image.
3. Intégrez l'encodeur d'invites et le décodeur de masque légers dans votre application. Ces composants sont très efficaces et peuvent s'exécuter en temps réel sur un processeur ou dans un navigateur web.
4. Utilisez les masques de sortie du modèle comme entrées pour d'autres systèmes d'IA, tels que le suivi d'objets vidéo, la reconstruction 3D ou les applications avancées de retouche d'image.

Fonctionnalités principales de Segment Anything

• Segmentation par invites : Les utilisateurs peuvent guider le modèle avec des invites interactives, y compris des points, des boîtes et des masques. Le document de recherche explore également les invites textuelles comme une possibilité future.
• Généralisation Zero-Shot : Possède une compréhension générale des objets, lui permettant d'effectuer la segmentation sur des objets et des images inconnus sans entraînement spécifique à la tâche.
• Interactivité en temps réel : Un décodeur de masque léger permet une génération de masques efficace et en temps réel, s'exécutant en environ 50 ms sur un processeur standard.
• Conception consciente de l'ambiguïté : Pour les invites ambiguës (par exemple, cliquer sur un point qui pourrait appartenir à plusieurs objets), SAM peut générer plusieurs masques valides, reflétant l'incertitude inhérente.
• Sortie automatique pour tous les objets : Capable de générer des masques de segmentation pour chaque objet d'une image avec une seule commande.
• Modèle et ensemble de données open source : Le modèle Segment Anything (SAM) et l'énorme ensemble de données SA-1B sont publiquement disponibles, favorisant la recherche et l'innovation dans le domaine.

Cas d'utilisation pour Segment Anything

La polyvalence de SAM en tant que modèle fondamental ouvre un vaste éventail d'applications dans de nombreuses industries.

• Création et design graphique : Sélectionnez et isolez sans effort des objets dans les photos pour la suppression d'arrière-plan, le compositing et la création de collages complexes.
• Recherche scientifique : Accélérez l'analyse d'images scientifiques, comme la segmentation de cellules dans des images de microscopie, l'identification d'animaux dans des études écologiques ou l'analyse de formations géologiques.
• Annotation de données : Accélérez considérablement le processus de création de masques de segmentation de haute qualité pour l'entraînement d'autres modèles de vision par ordinateur, réduisant le travail manuel et les coûts.
• Réalité augmentée (AR) & VR : Permettez aux applications de RA de comprendre la géométrie et les objets dans l'environnement d'un utilisateur, pour des expériences plus réalistes et interactives.
• E-commerce : Automatisez la création de fiches produits professionnelles en supprimant les arrière-plans et en isolant les produits des photos.
• Systèmes autonomes : Fournissez un composant de perception puissant pour les robots et les véhicules autonomes afin de comprendre et d'interagir avec les objets de leur environnement.

Avantages de Segment Anything

Le principal avantage de SAM est son rôle de composant général, puissant et accessible pour la compréhension visuelle. Contrairement aux modèles précédents qui nécessitaient un entraînement intensif pour des tâches spécifiques, la capacité zero-shot de SAM en fait une solution prête à l'emploi pour un large éventail de besoins de segmentation. Son architecture efficace garantit qu'il peut être déployé dans des applications interactives en temps réel. En rendant le modèle et le plus grand ensemble de données de segmentation jamais créé open source, Meta AI a fourni à la communauté un outil puissant qui peut servir de colonne vertébrale à la prochaine génération d'applications de vision par ordinateur.

Tarification et plans

Segment Anything est un projet de recherche publié par Meta AI. Le modèle, le code et l'ensemble de données SA-1B sont disponibles gratuitement à des fins de recherche et de développement sous une licence open source. La démo web est également gratuite pour des fins de démonstration et non commerciales.