Cleora

Cleora é um modelo de código aberto de propósito geral, desenvolvido pela equipe do Synerise.com, projetado para o aprendizado eficiente e escalável de embeddings de entidades a partir de dados relacionais complexos e heterogêneos. Ele se destaca na transformação de entidades e suas interações — como produtos em um carrinho de compras, usuários em uma rede social ou proteínas em um sistema biológico — em vetores numéricos significativos. Esses vetores, ou embeddings, capturam as relações e semelhanças subjacentes, tornando-os inestimáveis para tarefas de aprendizado de máquina subsequentes.

Construído com um núcleo de alto desempenho em Rust e exposto através de um pacote Python amigável (pycleora), o Cleora atinge velocidades de processamento que são ordens de magnitude mais rápidas do que métodos tradicionais como DeepWalk ou PyTorch-BigGraph. Ele opera com base no princípio de projeções aleatórias iterativas em uma matriz de transição de Markov derivada dos dados, um método que evita o ruído e a ineficiência da amostragem negativa. Isso permite processar grafos e hipergrafos extremamente grandes em uma única máquina, uma vantagem significativa para aplicações do mundo real.

Como usar o Cleora

Usar o Cleora é simples para desenvolvedores e cientistas de dados familiarizados com Python. O processo geralmente envolve estes passos:

1. Instalação: Instale o pacote Python diretamente usando o pip: pip install pycleora.
2. Preparação dos Dados: Estruture seus dados como uma série de hiperarestas. Uma hiperaresta é um grupo de entidades que co-ocorrem. Por exemplo, uma linha em seu arquivo de entrada pode representar todos os produtos comprados em uma única transação, separados por espaços. Isso pode ser preparado a partir de um DataFrame do pandas ou de qualquer iterador Python.
3. Criação da Matriz: Use a função SparseMatrix.from_iterator() para converter seus dados preparados em uma matriz de transição de Markov esparsa. Esta matriz representa as relações dentro do seu hipergrafo.
4. Inicialização dos Embeddings: Você pode deixar o Cleora inicializar os vetores de embedding deterministicamente ou fornecer seus próprios vetores iniciais. Este recurso exclusivo permite incorporar informações externas, como embeddings de texto (ex: Sentence-BERT) ou imagens (ex: ViT), na estrutura do grafo.
5. Propagação: Realize algumas iterações de propagação de Markov usando mat.left_markov_propagate(embeddings). Normalmente, de 3 a 7 iterações são suficientes. Menos iterações capturam a co-ocorrência direta, enquanto mais iterações capturam a similaridade contextual mais profunda.
6. Normalização: Normalize os vetores de embedding resultantes, geralmente com uma norma L2, para garantir que residam em uma hiperesfera. Isso os torna comparáveis usando a similaridade de cosseno ou o produto escalar.
7. Uso: Os vetores normalizados finais são seus embeddings de entidade, prontos para serem usados em tarefas de recomendação, classificação, clusterização ou busca por similaridade.

Recursos principais do Cleora

• Desempenho Extremo: Escrito em Rust e otimizado para concorrência e coerência de cache, tornando-o excepcionalmente rápido.
• Escalabilidade: Capaz de embutir grafos e hipergrafos extremamente grandes com bilhões de arestas em uma única máquina comum.
• Aprendizado Indutivo: Pode gerar embeddings para entidades novas e nunca vistas em tempo real, sem retreinar todo o modelo, resolvendo efetivamente o problema do 'cold start'.
• Estável e Determinístico: Ao contrário de métodos como o Node2vec, o Cleora produz os mesmos embeddings para os mesmos dados de entrada em várias execuções, garantindo reprodutibilidade e estabilidade.
• Suporte a Hipergrafos: Lida nativamente com hipergrafos (ex: produtos em uma cesta, usuários em um grupo), o que é mais poderoso do que a simples decomposição de grafos em pares.
• Integração com Python: Oferece uma API Python (pycleora) transparente com integração profunda com o NumPy para uso fácil em fluxos de trabalho de ciência de dados.
• Inicialização Personalizada: Permite que os usuários inicializem embeddings com vetores de outras fontes (ex: modelos de texto, imagem), permitindo análises multimodais.

Casos de uso para Cleora

A versatilidade do Cleora o torna adequado para uma ampla gama de aplicações em várias indústrias:

• E-commerce: Criar embeddings de produtos poderosos para sistemas de recomendação (ex: 'clientes que compraram isso também compraram...'), similaridade de produtos e análise de cestas.
• Análise de Redes Sociais: Embutir usuários e conteúdo para identificar comunidades, prever conexões e recomendar conteúdo.
• Bioinformática: Analisar interações entre proteínas, medicamentos e genes, embutindo-os com base na co-ocorrência em vias biológicas.
• Serviços Financeiros: Detectar atividades fraudulentas identificando padrões incomuns em grafos de transações.
• Pesquisa Acadêmica: Analisar redes de coautoria para descobrir comunidades de pesquisa e autores influentes.

Vantagens do Cleora

O Cleora se destaca de outros frameworks de embedding devido a várias vantagens principais:

• Velocidade Incomparável: É significativamente mais rápido (ex: mais de 190x mais rápido que o DeepWalk em benchmarks) do que muitas alternativas populares.
• Pronto para Produção: Sua estabilidade, indutividade e capacidade de atualização em tempo real o tornam ideal para implantação em ambientes de produção ao vivo.
• Embeddings de Alta Qualidade: O método de caminhadas aleatórias explícitas em uma matriz de transição completa, sem amostragem negativa, leva a embeddings de maior qualidade e mais precisos.
• Eficiência de Recursos: É projetado para rodar eficientemente em uma única máquina, reduzindo a necessidade de clusters de computação distribuída caros.
• Simplicidade e Flexibilidade: O modelo é conceitualmente simples, mas poderoso, oferecendo flexibilidade na entrada de dados e na inicialização dos embeddings.

Preços e planos

Cleora é um projeto totalmente de código aberto, lançado sob a Licença MIT. Isso significa que é completamente gratuito para uso, tanto para fins acadêmicos quanto comerciais. Não há planos pagos ou custos ocultos. O código-fonte está publicamente disponível no GitHub para qualquer pessoa usar, inspecionar ou contribuir.