Chroma

Chroma ist eine wegweisende Open-Source-Retrieval-Datenbank, die speziell für die neue Ära der KI-Anwendungen entwickelt wurde. Ihre Hauptaufgabe ist es, Entwicklern die wesentliche Infrastruktur zur Verfügung zu stellen, um anspruchsvolle Systeme mit Retrieval-Augmented Generation (RAG) zu erstellen. Durch die Anreicherung von Large Language Models (LLMs) mit relevanten, privaten oder aktuellen Informationen hilft Chroma, Halluzinationen zu reduzieren und die Qualität und Relevanz des generierten Textes erheblich zu verbessern. Es dient als umfassende Lösung für die Verwaltung von Embeddings, Vektorsuche, Dokumentenspeicherung, Volltextsuche und Metadatenfilterung, alles in einem einzigen, zusammenhängenden System.

Im Kern ist Chroma auf Einfachheit und Leistung ausgelegt, sodass Entwickler schnell auf ihren lokalen Rechnern loslegen und bei wachsenden Anforderungen nahtlos auf eine vollständig verwaltete, serverlose Cloud-Umgebung skalieren können. Die Architektur ist einzigartig auf KI-Workloads zugeschnitten, die oft Millionen kleinerer Datensammlungen mit unterschiedlichen Zugriffsmustern umfassen. Durch die Nutzung eines Object-Storage-nativen Designs trennt Chroma Rechenleistung und Speicher, was es im Vergleich zu herkömmlichen In-Memory-Suchsystemen hoch skalierbar und kostengünstig macht.

Wie man Chroma verwendet

Der Einstieg in Chroma ist für Entwickler unkompliziert gestaltet. Der Prozess umfasst typischerweise diese Schritte:

1. Installation: Beginnen Sie mit der Installation der Chroma-Client-Bibliothek in Ihrer bevorzugten Umgebung. Chroma bietet offizielle Clients für Python (`pip install chromadb`) und JavaScript/TypeScript (`npm install chromadb`).
2. Client initialisieren: Erstellen Sie eine Chroma-Client-Instanz. Sie können Chroma im Speicher ausführen, auf einer lokalen Festplatte persistieren oder sich mit einem laufenden Chroma-Server, einschließlich der Chroma Cloud, verbinden.
3. Eine Sammlung erstellen: Eine Sammlung ist der Ort, an dem Sie Ihre Embeddings, Dokumente und Metadaten speichern. Sie können eine Sammlung mit einem einfachen Befehl erstellen, z.B.: `collection = client.create_collection(name="my_documents")`.
4. Daten hinzufügen: Fügen Sie Ihre Daten zur Sammlung hinzu. Dies umfasst die Dokumente (Text), ihre entsprechenden Embeddings (Vektoren), Metadaten (z.B. Quelle, Datum) und eindeutige IDs. Sie können Daten zur Effizienzsteigerung stapelweise hinzufügen.
5. Die Sammlung abfragen: Rufen Sie relevante Informationen ab, indem Sie die Sammlung abfragen. Sie können eine semantische Suche mit Abfragetexten (die Chroma für Sie einbettet) oder durch Bereitstellung Ihrer eigenen Abfragevektoren durchführen. Sie können auch leistungsstarke Metadatenfilter und Volltextsuchbedingungen anwenden, um Ihre Ergebnisse zu verfeinern.
6. In die Cloud skalieren: Wenn Ihre Anwendung produktionsreif ist, können Sie sie in der Chroma Cloud bereitstellen, ohne Ihren Anwendungscode zu ändern. Richten Sie einfach Ihren Client mit einem API-Schlüssel auf den Cloud-Endpunkt, um auf ein skalierbares, serverloses und vollständig verwaltetes Retrieval-System zuzugreifen.

Kernfunktionen von Chroma

• KI-natives Retrieval: Kombiniert Vektorsuche, Volltextsuche und Metadatenfilterung in einer Datenbank.
• Open-Source: Lizenziert unter Apache 2.0, was Entwicklern Freiheit und Kontrolle gibt. Es ist kostenlos zu verwenden, zu überprüfen und beizutragen.
• Multimodal: Fähig, verschiedene Datentypen, einschließlich Text und Bilder, zu verarbeiten und zu durchsuchen.
• Entwicklerfreundlich: Einfache APIs für Python und JavaScript/TypeScript, die eine einfache Integration in jeden KI-Stack ermöglichen.
• Skalierbare Architektur: Basiert auf einer verteilten, serverlosen Architektur, die Speicher und Rechenleistung trennt. Skaliert von lokalen Projekten bis zu Terabyte-großen Produktions-Workloads.
• Kostengünstig: Das Object-Storage-native Design reduziert die Kosten für die Speicherung und Bereitstellung von Indizes erheblich, insbesondere für Daten mit seltenen Zugriffsmustern.
• Umfangreiche Integrationen: Nahtlose Integration mit beliebten KI-Frameworks und -Bibliotheken wie LangChain, LlamaIndex, OpenAI, Google und Hugging Face.
• Chroma Cloud: Eine vollständig verwaltete, serverlose Option, die die Notwendigkeit der Infrastrukturverwaltung eliminiert und eine nutzungsbasierte Preisgestaltung bietet.

Anwendungsfälle für Chroma

Chroma ist das Rückgrat für eine breite Palette von KI-Anwendungen, die kontextsensitive Antworten und Wissensabruf erfordern.

• Retrieval-Augmented Generation (RAG): Der primäre Anwendungsfall. Betreibt Chatbots, Q&A-Systeme und Content-Erstellungstools, indem es LLMs mit faktischen, Echtzeit- oder proprietären Daten versorgt.
• Interne Wissensdatenbanksuche: Ermöglicht Mitarbeitern, Fragen in natürlicher Sprache zu stellen und präzise Antworten aus internen Dokumenten, Wikis und Datenbanken zu erhalten.
• Personalisierte KI-Assistenten: Erstellung von Assistenten, die sich an vergangene Interaktionen erinnern und Zugriff auf die persönlichen Daten eines Benutzers haben (z.B. Notizen, E-Mails), um maßgeschneiderte Hilfe zu leisten.
• E-Commerce und Produktentdeckung: Ermöglicht die semantische Suche nach Produkten basierend auf beschreibenden Abfragen anstelle von nur Schlüsselwörtern, was die Benutzererfahrung und die Konversion verbessert.
• Forschung und Analyse: Unterstützt Forscher beim Durchsuchen großer Mengen von wissenschaftlichen Arbeiten, Berichten und Daten, um relevante Informationen schnell zu finden.

Vorteile von Chroma

Chroma zeichnet sich dadurch aus, dass es speziell für KI-Entwickler entwickelt wurde. Seine Hauptvorteile sind:

• Einfachheit: Es bietet eine „funktioniert einfach“-Erfahrung, die die Komplexität der Vektorindizierung und verteilter Systeme abstrahiert.
• Einheitliche Plattform: Es vermeidet die Notwendigkeit, separate Systeme für Vektorsuche, Stichwortsuche und Metadatenspeicherung zusammenzufügen.
• Zukunftssichere Skalierbarkeit: Entwickler können klein anfangen und wachsen, ohne an eine Grenze zu stoßen, dank des nahtlosen Übergangs von lokal zu Cloud.
• Optimiert für KI-Workloads: Seine Architektur ist speziell für die Potenzgesetz-Zugriffsmuster und hochkardinalen Sammlungen konzipiert, die in Multi-Tenant-KI-Anwendungen üblich sind.
• Starke Community: Unterstützt durch eine aktive Open-Source-Community auf Discord und GitHub, die Unterstützung bietet und Innovationen vorantreibt.

Preise und Pläne

Chroma bietet ein flexibles Preismodell, das auf unterschiedliche Bedürfnisse zugeschnitten ist, von einzelnen Entwicklern bis hin zu großen Unternehmen.

• Open Source: Die selbst gehostete Version von Chroma ist völlig kostenlos und unter der Apache 2.0-Lizenz lizenziert. Ideal für lokale Entwicklung, Forschung und selbst verwaltete Bereitstellungen.
• Chroma Cloud - Starter Plan: $0/Monat + Nutzung. Dieser Plan ist perfekt für den schnellen Einstieg. Er enthält $5 an kostenlosen Credits, danach zahlen Sie nur für das, was Sie nutzen. Er unterstützt bis zu 10 Datenbanken und 10 Teammitglieder.
• Chroma Cloud - Team Plan: $250/Monat + Nutzung. Dieser Plan ist für Produktionsanwendungsfälle konzipiert und enthält $100 an Credits, unterstützt bis zu 100 Datenbanken und 30 Teammitglieder, bietet Slack-Support und ist SOC-II-konform.
• Chroma Cloud - Enterprise Plan: Individuelle Preise. Für Organisationen mit großem Bedarf bietet dieser Plan unbegrenzte Datenbanken und Teammitglieder, dedizierten Support, Single-Tenant-Cluster, BYOC-Optionen (Bring Your Own Cloud) und SLAs.

Die nutzungsbasierte Preisgestaltung für Chroma Cloud wird basierend auf geschriebenen Daten ($2.50/GiB), gespeicherten Daten ($0.33/GiB/Monat) und abgefragten Daten ($0.0075/TiB abgefragt + $0.09/GiB zurückgegeben) berechnet.