Cleora

Cleora ist ein universelles Open-Source-Modell, das vom Synerise.com-Team entwickelt wurde und für das effiziente und skalierbare Lernen von Entitäten-Embeddings aus komplexen, heterogenen relationalen Daten konzipiert ist. Es zeichnet sich dadurch aus, Entitäten und ihre Interaktionen – wie Produkte in einem Warenkorb, Benutzer in einem sozialen Netzwerk oder Proteine in einem biologischen System – in aussagekräftige numerische Vektoren umzuwandeln. Diese Vektoren oder Embeddings erfassen die zugrunde liegenden Beziehungen und Ähnlichkeiten und sind daher für nachgelagerte maschinelle Lernaufgaben von unschätzbarem Wert.

Mit einem Hochleistungskern in Rust und einer benutzerfreundlichen Python-Schnittstelle (pycleora) erreicht Cleora Verarbeitungsgeschwindigkeiten, die um Größenordnungen schneller sind als bei traditionellen Methoden wie DeepWalk oder PyTorch-BigGraph. Es basiert auf dem Prinzip iterativer Zufallsprojektionen auf einer aus den Daten abgeleiteten Markov-Übergangsmatrix, eine Methode, die das Rauschen und die Ineffizienz des negativen Samplings vermeidet. Dies ermöglicht die Verarbeitung extrem großer Graphen und Hypergraphen auf einem einzigen Computer, was ein erheblicher Vorteil für reale Anwendungen ist.

Wie man Cleora verwendet

Die Verwendung von Cleora ist für Entwickler und Datenwissenschaftler, die mit Python vertraut sind, unkompliziert. Der Prozess umfasst im Allgemeinen diese Schritte:

1. Installation: Installieren Sie das Python-Paket direkt mit pip: pip install pycleora.
2. Datenvorbereitung: Strukturieren Sie Ihre Daten als eine Reihe von Hyperkanten. Eine Hyperkante ist eine Gruppe von gemeinsam auftretenden Entitäten. Zum Beispiel könnte eine Zeile in Ihrer Eingabedatei alle in einer einzigen Transaktion gekauften Produkte darstellen, getrennt durch Leerzeichen. Dies kann aus einem pandas DataFrame oder einem beliebigen Python-Iterator vorbereitet werden.
3. Matrixerstellung: Verwenden Sie die Funktion SparseMatrix.from_iterator(), um Ihre vorbereiteten Daten in eine dünn besetzte Markov-Übergangsmatrix umzuwandeln. Diese Matrix repräsentiert die Beziehungen innerhalb Ihres Hypergraphen.
4. Embedding-Initialisierung: Sie können Cleora die Embedding-Vektoren deterministisch initialisieren lassen oder Ihre eigenen Anfangsvektoren bereitstellen. Diese einzigartige Funktion ermöglicht es Ihnen, externe Informationen, wie z. B. Embeddings aus Text (z. B. Sentence-BERT) oder Bildern (z. B. ViT), in die Graphenstruktur zu integrieren.
5. Propagation: Führen Sie einige Iterationen der Markov-Propagation mit mat.left_markov_propagate(embeddings) durch. Typischerweise sind 3 bis 7 Iterationen ausreichend. Weniger Iterationen erfassen direkte Kookkurrenzen, während mehr Iterationen tiefere, kontextuelle Ähnlichkeiten erfassen.
6. Normalisierung: Normalisieren Sie die resultierenden Embedding-Vektoren, normalerweise mit einer L2-Norm, um sicherzustellen, dass sie auf einer Hypersphäre liegen. Dies macht sie mit Kosinus-Ähnlichkeit oder Skalarprodukt vergleichbar.
7. Verwendung: Die endgültigen normalisierten Vektoren sind Ihre Entitäten-Embeddings, die für Empfehlungs-, Klassifizierungs-, Clustering- oder Ähnlichkeitssuchaufgaben bereitstehen.

Kernfunktionen von Cleora

• Extreme Leistung: In Rust geschrieben und für Parallelität und Cache-Kohärenz optimiert, was es außergewöhnlich schnell macht.
• Skalierbarkeit: Kann extrem große Graphen und Hypergraphen mit Milliarden von Kanten auf einem einzigen Standardcomputer einbetten.
• Induktives Lernen: Kann Embeddings für neue, bisher ungesehene Entitäten on-the-fly generieren, ohne das gesamte Modell neu trainieren zu müssen, was das Kaltstartproblem effektiv löst.
• Stabil & Deterministisch: Im Gegensatz zu Methoden wie Node2vec erzeugt Cleora bei mehreren Durchläufen mit denselben Eingabedaten dieselben Embeddings, was Reproduzierbarkeit und Stabilität gewährleistet.
• Hypergraphen-Unterstützung: Behandelt nativ Hypergraphen (z. B. Produkte in einem Warenkorb, Benutzer in einer Gruppe), was leistungsfähiger ist als die einfache paarweise Graphenzerlegung.
• Python-Integration: Bietet eine nahtlose Python-API (pycleora) mit tiefer Integration in NumPy für eine einfache Verwendung in Data-Science-Workflows.
• Benutzerdefinierte Initialisierung: Ermöglicht Benutzern die Initialisierung von Embeddings mit Vektoren aus anderen Quellen (z. B. Text-, Bildmodelle), was multimodale Analysen ermöglicht.

Anwendungsfälle für Cleora

Die Vielseitigkeit von Cleora macht es für eine breite Palette von Anwendungen in verschiedenen Branchen geeignet:

• E-Commerce: Erstellung leistungsstarker Produkt-Embeddings für Empfehlungssysteme (z. B. 'Kunden, die dies kauften, kauften auch...'), Produktähnlichkeit und Warenkorbanalysen.
• Analyse sozialer Netzwerke: Einbetten von Benutzern und Inhalten, um Gemeinschaften zu identifizieren, Verbindungen vorherzusagen und Inhalte zu empfehlen.
• Bioinformatik: Analyse von Interaktionen zwischen Proteinen, Medikamenten und Genen durch Einbettung basierend auf dem gemeinsamen Vorkommen in biologischen Pfaden.
• Finanzdienstleistungen: Aufdeckung betrügerischer Aktivitäten durch Identifizierung ungewöhnlicher Muster in Transaktionsgraphen.
• Akademische Forschung: Analyse von Ko-Autoren-Netzwerken, um Forschungsgemeinschaften und einflussreiche Autoren zu entdecken.

Vorteile von Cleora

Cleora hebt sich durch mehrere entscheidende Vorteile von anderen Embedding-Frameworks ab:

• Unübertroffene Geschwindigkeit: Es ist deutlich schneller (z. B. über 190x schneller als DeepWalk in Benchmarks) als viele beliebte Alternativen.
• Produktionsreif: Seine Stabilität, Induktivität und Echtzeit-Aktualisierbarkeit machen es ideal für den Einsatz in Live-Produktionsumgebungen.
• Hochwertige Embeddings: Die Methode expliziter Random Walks auf einer vollständigen Übergangsmatrix ohne negatives Sampling führt zu qualitativ hochwertigeren und genaueren Embeddings.
• Ressourceneffizienz: Es ist so konzipiert, dass es effizient auf einem einzigen Computer läuft, was den Bedarf an teuren verteilten Rechenclustern reduziert.
• Einfachheit und Flexibilität: Das Modell ist konzeptionell einfach, aber leistungsstark und bietet Flexibilität bei der Dateneingabe und der Embedding-Initialisierung.

Preise und Pläne

Cleora ist ein vollständig quelloffenes Projekt, das unter der MIT-Lizenz veröffentlicht wird. Das bedeutet, es ist sowohl für akademische als auch für kommerzielle Zwecke völlig kostenlos. Es gibt keine kostenpflichtigen Pläne oder versteckten Kosten. Der Quellcode ist auf GitHub öffentlich zugänglich, sodass jeder ihn verwenden, überprüfen oder dazu beitragen kann.