dstack

dstack ist ein leistungsstarker Open-Source-Container-Orchestrator, der speziell entwickelt wurde, um die Herausforderungen von KI- und Machine-Learning-Teams zu bewältigen. Sein Hauptziel ist es, den komplexen Prozess der Workload-Orchestrierung zu vereinfachen und die Auslastung teurer GPU-Ressourcen erheblich zu verbessern. Als anbieterunabhängige Plattform bietet dstack eine einheitliche Rechenschicht, die sich nahtlos in jede GPU-Cloud (wie AWS, GCP, Azure, OCI), On-Premise-Cluster und eine breite Palette beschleunigter Hardware, einschließlich NVIDIA, AMD, TPUs und mehr, integriert. Diese Flexibilität stellt sicher, dass Teams nicht an einen einzigen Anbieter gebunden sind und die beste Hardware für ihre Bedürfnisse nutzen können, wo immer sie sich befindet.

Die Plattform ist auf die Entwicklererfahrung ausgerichtet und abstrahiert die zugrunde liegende Infrastrukturkomplexität. Dies ermöglicht es ML-Ingenieuren und Forschern, sich auf das Erstellen, Trainieren und Bereitstellen von Modellen zu konzentrieren, anstatt Server, Abhängigkeiten und Skalierung zu verwalten. dstack wird von erstklassigen ML-Teams bei Unternehmen wie Electronic Arts und Mobius Labs für seine Fähigkeit geschätzt, von schnellem Prototyping bis hin zu großen, verteilten Trainingsjobs mit mehreren Knoten zu skalieren.

Wie man dstack verwendet

Der Einstieg in dstack ist ein unkomplizierter Prozess, der für eine schnelle Einführung konzipiert ist:

1. Server einrichten: Sie können beginnen, indem Sie den dstack-Server auf Ihrem lokalen Rechner mit einem einfachen Befehl wie uv tool install "dstack[all]" installieren und mit dstack server ausführen. Alternativ können Sie ihn überall mit dem offiziellen Docker-Image bereitstellen oder sich für dstack Sky, die verwaltete Cloud-Version, anmelden, um das Hosting selbst zu vermeiden.
2. Konfigurationen definieren: Workflows in dstack werden über einfache YAML-Dateien in Ihrem Projekt-Repository definiert. Diese Konfigurationen beschreiben die Umgebung, Ressourcen und Befehle für Ihre Aufgaben. Zu den wichtigsten Konfigurationstypen gehören:
   • Entwicklungsumgebungen (Dev Environments): Für interaktive Entwicklung, die es Ihnen ermöglicht, Ihre lokale IDE (wie VS Code) mit einer leistungsstarken Remote-GPU-Maschine zu verbinden.
   • Aufgaben (Tasks): Zum Planen von Batch-Jobs, wie z. B. das Vortrainieren oder Feinabstimmen von Modellen. Ideal für Workloads, die bis zum Abschluss laufen.
   • Dienste (Services): Zum Bereitstellen von Modellen als sichere, automatisch skalierende, OpenAI-kompatible Endpunkte.
   • Flotten (Fleets): Zur Verwaltung von Gruppen von Cloud- oder On-Premise-Instanzen als einzelner Ressourcenpool.
3. Konfigurationen anwenden: Sobald Ihre YAML-Datei fertig ist, wenden Sie sie über die Befehlszeilenschnittstelle an: dstack apply. dstack kümmert sich dann um den Rest: Bereitstellung der notwendigen Infrastruktur, Planung des Jobs, Verwaltung der automatischen Skalierung, Handhabung der Portweiterleitung und Streaming der Protokolle zurück zu Ihrem Terminal. Für eine losgelöste Ausführung können Sie das Flag -d verwenden.

Kernfunktionen von dstack

• Einheitliche Rechenschicht: Bietet eine einzige, anbieterunabhängige Steuerungsebene für alle Ihre KI-Rechenressourcen, ob in der Cloud oder vor Ort.
• Breite Unterstützung für Beschleuniger: Unterstützt nativ eine breite Palette von Hardware, einschließlich NVIDIA-GPUs, AMD-GPUs, Google Cloud TPUs, Intel Gaudi und Tenstorrent-Beschleunigern.
• Entwicklerzentrierte Workflows: Bietet spezialisierte Konfigurationen wie Entwicklungsumgebungen für interaktives Codieren, Aufgaben für die Stapelverarbeitung und Dienste für die einfache Modellbereitstellung.
• Effizientes Ressourcenmanagement: Verfügt über einen integrierten Scheduler zur Maximierung der GPU-Auslastung. Es enthält Richtlinien zur automatischen Beendigung von nicht ausgelasteten Instanzen, um Kosten zu sparen.
• Nahtlose Integration: Funktioniert reibungslos mit führenden GPU-Clouds (AWS, GCP, Azure, OCI) und kann auf bestehenden Kubernetes-Clustern ausgeführt werden. SSH-Flotten ermöglichen die Anbindung von Bare-Metal-Servern.
• Automatisch skalierende Dienste: Stellen Sie Modelle einfach als produktionsreife Dienste mit Funktionen wie automatischer Skalierung, HTTPS und OpenAI-kompatiblen API-Endpunkten bereit.
• Datenpersistenz: Unterstützt Netzwerk- und Instanz-Volumes, um Daten, Modelle und Caches über Läufe hinweg zu persistieren und sicherzustellen, dass der Zustand nicht verloren geht.
• Erweiterte Konfiguration: Ermöglicht eine feingranulare Steuerung mit Funktionen wie Wiederholungsrichtlinien bei Kapazitätsproblemen, Verwaltung von Umgebungsvariablen und Unterstützung für benutzerdefinierte Docker-Images.

Anwendungsfälle für dstack

dstack ist vielseitig und unterstützt eine breite Palette von ML-Workflows:

• Modelltraining und Feinabstimmung: Führen Sie Einzelknoten- oder verteilte Trainingsjobs für große Sprachmodelle (LLMs) mit beliebten Frameworks wie TRL, Axolotl und DeepSpeed aus.
• Inferenz und Modell-Serving: Stellen Sie optimierte Modelle für die Inferenz mit leistungsstarken Serving-Frameworks wie vLLM, SGLang, TGI und NVIDIA NIM bereit.
• Interaktive KI-Entwicklung: ML-Ingenieure können in Sekundenschnelle leistungsstarke GPU-gestützte Entwicklungsumgebungen einrichten und ihre lokale IDE verbinden, um Code interaktiv zu experimentieren und zu debuggen.
• Hochleistungs-Cluster-Management: Richten Sie Tests (z. B. NCCL-Tests) auf spezialisierten Multi-Node-Clustern wie GCP A3 Mega oder AWS EFA-fähigen Instanzen ein, konfigurieren und führen Sie sie aus.
• Cloud-übergreifende Kostenoptimierung: Vergleichen und nutzen Sie mühelos die kostengünstigsten GPU-Instanzen verschiedener Cloud-Anbieter für jede gegebene Aufgabe.

Vorteile von dstack

Der Hauptvorteil von dstack ist seine Fähigkeit, die KI-Infrastruktur drastisch zu vereinfachen. Es befähigt ML-Teams, indem es ihnen ermöglicht, sich auf ihre Forschung und Modelle anstatt auf die Infrastruktur zu konzentrieren. Zu den wichtigsten Vorteilen gehören eine gesteigerte Produktivität, erhebliche Kosteneinsparungen durch eine bessere GPU-Auslastung und den Zugang zu Spot-Instanzen sowie die Vermeidung von Anbieterabhängigkeit (Vendor Lock-in). Seine Open-Source-Natur fördert Transparenz und eine von der Community getriebene Entwicklung, während das entwicklerzentrierte Design es unglaublich einfach macht, eine Konfiguration zu definieren und auszuführen, ohne sich um die GPU-Verfügbarkeit oder komplexe Setups kümmern zu müssen.

Preise und Pläne

dstack bietet eine flexible Preisstruktur, um unterschiedlichen Bedürfnissen gerecht zu werden:

• dstack (Open-Source): Die Kernplattform ist Open-Source und kostenlos nutzbar. Sie können sie auf Ihrer eigenen Infrastruktur ohne Lizenzgebühren selbst hosten.
• dstack Sky: Ein verwalteter Cloud-Dienst, der das Hosting des dstack-Servers für Sie übernimmt. Er bietet auch Zugang zu einem Marktplatz der günstigsten GPUs. Es wird eine kostenlose Stufe zum Einstieg angeboten.
• dstack Enterprise: Eine selbst gehostete Version für größere Organisationen, die unternehmensweite Funktionen wie Single Sign-On (SSO), erweiterte Governance-Kontrollen und dedizierten Unternehmenssupport umfasst. Eine Testversion kann für diese Version angefordert werden.

Dieses Modell macht dstack für einzelne Forscher, Start-ups und große Unternehmen gleichermaßen zugänglich.