Segment Anything

Segment Anything (SAM) é um novo e revolucionário modelo de IA desenvolvido pela Meta AI, projetado para ser um modelo fundamental para a segmentação de imagens. Sua capacidade principal é "recortar" ou segmentar qualquer objeto dentro de qualquer imagem, simplesmente fornecendo um prompt. Isso marca um salto significativo na visão computacional, avançando em direção a sistemas mais generalizados e intuitivos que entendem o conteúdo visual em um nível mais profundo. O poder do SAM reside em sua interface solicitável e em sua notável capacidade de generalização de zero-shot, o que significa que ele pode identificar e segmentar objetos e imagens que nunca encontrou durante sua fase de treinamento, sem a necessidade de dados adicionais ou ajuste fino.

O modelo foi treinado em um conjunto de dados sem precedentes, o SA-1B, que contém mais de 1,1 bilhão de máscaras de segmentação distribuídas em 11 milhões de imagens cuidadosamente licenciadas e que preservam a privacidade. Este enorme conjunto de dados, coletado com a ajuda do próprio modelo em um ciclo de "motor de dados", é o que confere ao SAM sua compreensão robusta e generalizada do que constitui um objeto.

Como usar o Segment Anything

O Segment Anything foi projetado tanto para uso interativo por meio de sua demonstração na web quanto para integração em sistemas maiores por desenvolvedores.

Para Usuários Gerais (via Demonstração na Web):

1. Navegue até o site de demonstração do Segment Anything.
2. Carregue sua própria imagem ou escolha uma da galeria fornecida.
3. Interaja com a imagem para segmentar objetos usando vários prompts:
• Passar o mouse e clicar: Simplesmente mova o mouse sobre um objeto. O SAM destacará uma máscara potencial em tempo real. Clique para confirmar a segmentação.
• Pontos: Adicione pontos de primeiro plano (positivos) para incluir partes de um objeto ou pontos de fundo (negativos) para excluir áreas para um controle mais preciso.
• Caixa: Desenhe uma caixa delimitadora ao redor do objeto que deseja segmentar.
• Tudo: Use a função "Everything" para que o SAM identifique e segmente automaticamente todos os objetos que detectar na imagem inteira.
4. As máscaras resultantes podem ser visualizadas e analisadas diretamente no navegador.

Para Desenvolvedores e Pesquisadores:

1. Acesse o código oficial e os modelos pré-treinados do repositório GitHub do Segment Anything.
2. O modelo é arquitetonicamente desacoplado em um codificador de imagem pesado e um decodificador de máscara leve. A incorporação da imagem é computada uma vez por imagem.
3. Integre o codificador de prompt e o decodificador de máscara leves em sua aplicação. Esses componentes são altamente eficientes e podem ser executados em tempo real em uma CPU ou em um navegador da web.
4. Use as máscaras de saída do modelo como entradas para outros sistemas de IA, como para rastreamento de objetos em vídeo, reconstrução 3D ou aplicações avançadas de edição de imagens.

Recursos principais do Segment Anything

• Segmentação Solicitável: Os usuários podem guiar o modelo com prompts interativos, incluindo pontos, caixas e máscaras. O artigo de pesquisa também explora prompts de texto como uma possibilidade futura.
• Generalização de Zero-Shot: Possui uma compreensão geral de objetos, permitindo que execute a segmentação em objetos e imagens desconhecidos sem treinamento específico para a tarefa.
• Interatividade em Tempo Real: Um decodificador de máscara leve permite a geração de máscaras eficientes e em tempo real, executando em aproximadamente 50ms em uma CPU padrão.
• Design Consciente da Ambiguidade: Para prompts ambíguos (por exemplo, clicar em um ponto que poderia pertencer a vários objetos), o SAM pode gerar várias máscaras válidas, refletindo a incerteza inerente.
• Saída Automática para Todos os Objetos: Capaz de gerar máscaras de segmentação para cada objeto em uma imagem com um único comando.
• Modelo e Conjunto de Dados de Código Aberto: Tanto o Modelo Segment Anything (SAM) quanto o enorme conjunto de dados SA-1B estão publicamente disponíveis, fomentando mais pesquisas e inovações na área.

Casos de uso para o Segment Anything

A versatilidade do SAM como modelo fundamental abre uma vasta gama de aplicações em inúmeras indústrias.

• Design Criativo e Gráfico: Selecione e isole objetos em fotos sem esforço para remoção de fundo, composição e criação de colagens complexas.
• Pesquisa Científica: Acelere a análise de imagens científicas, como a segmentação de células em imagens de microscopia, a identificação de animais em levantamentos ecológicos ou a análise de formações geológicas.
• Anotação de Dados: Acelere drasticamente o processo de criação de máscaras de segmentação de alta qualidade para treinar outros modelos de visão computacional, reduzindo o trabalho manual e os custos.
• Realidade Aumentada (AR) e VR: Permita que aplicações de AR entendam a geometria e os objetos no ambiente de um usuário, permitindo experiências mais realistas e interativas.
• E-commerce: Automatize a criação de listagens de produtos profissionais removendo fundos e isolando produtos de fotos.
• Sistemas Autônomos: Forneça um poderoso componente de percepção para robôs e veículos autônomos para entender e interagir com objetos em seus arredores.

Vantagens do Segment Anything

A principal vantagem do SAM é seu papel como um componente geral, poderoso e acessível para a compreensão visual. Ao contrário dos modelos anteriores que exigiam treinamento extensivo para tarefas específicas, a capacidade de zero-shot do SAM o torna uma solução plug-and-play para uma ampla gama de necessidades de segmentação. Sua arquitetura eficiente garante que ele possa ser implantado em aplicações interativas e em tempo real. Ao abrir o código do modelo e do maior conjunto de dados de segmentação de todos os tempos, a Meta AI forneceu à comunidade uma ferramenta poderosa que pode servir como a espinha dorsal para a próxima geração de aplicações de visão computacional.

Preços e planos

Segment Anything é um projeto de pesquisa lançado pela Meta AI. O modelo, o código e o conjunto de dados SA-1B estão disponíveis gratuitamente para fins de pesquisa и desenvolvimento sob uma licença de código aberto. A demonstração na web também é gratuita para uso de demonstração e fins não comerciais.