dstack

dstack es un potente orquestador de contenedores de código abierto diseñado específicamente para abordar los desafíos que enfrentan los equipos de Inteligencia Artificial y Machine Learning. Su objetivo principal es simplificar el complejo proceso de orquestación de cargas de trabajo y mejorar significativamente la utilización de los costosos recursos de GPU. Como plataforma agnóstica de proveedores, dstack ofrece una capa de cómputo unificada que se integra sin problemas con cualquier nube de GPU (como AWS, GCP, Azure, OCI), clústeres locales y una amplia gama de hardware acelerado, incluyendo NVIDIA, AMD, TPU y más. Esta flexibilidad garantiza que los equipos no estén atados a un solo proveedor y puedan aprovechar el mejor hardware para sus necesidades, dondequiera que se encuentre.

La plataforma está diseñada con la experiencia del desarrollador en su núcleo, abstrayendo las complejidades de la infraestructura subyacente. Esto permite a los ingenieros de ML y a los investigadores centrarse en construir, entrenar y desplegar modelos en lugar de gestionar servidores, dependencias y escalado. dstack cuenta con la confianza de equipos de ML de clase mundial en empresas como Electronic Arts y Mobius Labs por su capacidad para escalar desde la creación rápida de prototipos hasta grandes trabajos de entrenamiento distribuido de múltiples nodos.

Cómo usar dstack

Empezar con dstack es un proceso sencillo diseñado para una adopción rápida:

1. Configurar el Servidor: Puedes empezar instalando el servidor dstack en tu máquina local con un simple comando como uv tool install "dstack[all]" y ejecutarlo con dstack server. Alternativamente, puedes desplegarlo en cualquier lugar usando la imagen oficial de Docker o registrarte en dstack Sky, la versión gestionada en la nube, para evitar alojarlo tú mismo.
2. Definir Configuraciones: Los flujos de trabajo en dstack se definen mediante sencillos archivos YAML dentro de tu repositorio de proyecto. Estas configuraciones describen el entorno, los recursos y los comandos para tus tareas. Los tipos de configuración clave incluyen:
   • Entornos de Desarrollo (Dev Environments): Para el desarrollo interactivo, permitiéndote conectar tu IDE local (como VS Code) a una potente máquina GPU remota.
   • Tareas (Tasks): Para programar trabajos por lotes, como el pre-entrenamiento o el ajuste fino de modelos. Es ideal para cargas de trabajo que se ejecutan hasta su finalización.
   • Servicios (Services): Para desplegar modelos como puntos finales seguros, con autoescalado y compatibles con OpenAI.
   • Flotas (Fleets): Para gestionar grupos de instancias en la nube o locales como un único pool de recursos.
3. Aplicar Configuraciones: Una vez que tu archivo YAML está listo, lo aplicas usando la interfaz de línea de comandos: dstack apply. dstack se encarga del resto: aprovisionamiento de la infraestructura necesaria, programación del trabajo, gestión del autoescalado, manejo del reenvío de puertos y transmisión de los registros a tu terminal. Para una ejecución desacoplada, puedes usar la bandera -d.

Características principales de dstack

• Capa de Cómputo Unificada: Proporciona un único plano de control agnóstico de proveedores para todos tus recursos de cómputo de IA, ya sea en la nube o en las instalaciones.
• Amplio Soporte de Aceleradores: Soporta de forma nativa una amplia gama de hardware, incluyendo GPUs de NVIDIA, GPUs de AMD, TPUs de Google Cloud, Intel Gaudi y aceleradores Tenstorrent.
• Flujos de Trabajo Centrados en el Desarrollador: Ofrece configuraciones especializadas como Entornos de Desarrollo para codificación interactiva, Tareas para procesamiento por lotes y Servicios para un fácil despliegue de modelos.
• Gestión Eficiente de Recursos: Cuenta con un planificador integrado para maximizar la utilización de la GPU. Incluye políticas para terminar automáticamente las instancias subutilizadas, ahorrando costos.
• Integración Perfecta: Funciona sin problemas con las principales nubes de GPU (AWS, GCP, Azure, OCI) y puede ejecutarse sobre clústeres de Kubernetes existentes. Las flotas SSH permiten conectar servidores bare-metal.
• Servicios de Autoescalado: Despliega fácilmente modelos como servicios listos para producción con características como autoescalado, HTTPS y puntos finales de API compatibles con OpenAI.
• Persistencia de Datos: Soporta volúmenes de red y de instancia para persistir datos, modelos y cachés a través de las ejecuciones, asegurando que el estado no se pierda.
• Configuración Avanzada: Permite un control detallado con características como políticas de reintento para problemas de capacidad, gestión de variables de entorno y soporte para imágenes de Docker personalizadas.

Casos de uso para dstack

dstack es versátil y soporta una amplia gama de flujos de trabajo de ML:

• Entrenamiento y Ajuste Fino de Modelos: Ejecuta trabajos de entrenamiento de un solo nodo o distribuidos para grandes modelos de lenguaje (LLM) utilizando frameworks populares como TRL, Axolotl y DeepSpeed.
• Inferencia y Servicio de Modelos: Despliega modelos optimizados para la inferencia utilizando frameworks de servicio de alto rendimiento como vLLM, SGLang, TGI y NVIDIA NIM.
• Desarrollo Interactivo de IA: Los ingenieros de ML pueden levantar potentes entornos de desarrollo respaldados por GPU en segundos, conectando su IDE local para experimentar y depurar código de forma interactiva.
• Gestión de Clústeres de Alto Rendimiento: Configura y ejecuta pruebas (p. ej., pruebas NCCL) en clústeres especializados de múltiples nodos como GCP A3 Mega o instancias habilitadas para AWS EFA.
• Optimización de Costos entre Nubes: Compara y utiliza sin esfuerzo las instancias de GPU más rentables entre diferentes proveedores de nube para cualquier tarea.

Ventajas de dstack

La principal ventaja de dstack es su capacidad para simplificar drásticamente la infraestructura de IA. Empodera a los equipos de ML permitiéndoles centrarse en su investigación y modelos en lugar de en la infraestructura. Los beneficios clave incluyen un aumento de la productividad, un ahorro significativo de costos a través de una mejor utilización de la GPU y el acceso a instancias spot, y la prevención del bloqueo de proveedores (vendor lock-in). Su naturaleza de código abierto fomenta la transparencia y el desarrollo impulsado por la comunidad, mientras que el diseño centrado en el desarrollador hace que sea increíblemente fácil definir una configuración y ejecutarla sin preocuparse por la disponibilidad de la GPU o configuraciones complejas.

Precios y planes

dstack ofrece una estructura de precios flexible para adaptarse a diferentes necesidades:

• dstack (Código Abierto): La plataforma principal es de código abierto y de uso gratuito. Puedes auto-alojarla en tu propia infraestructura sin ninguna tarifa de licencia.
• dstack Sky: Un servicio en la nube gestionado que se encarga del alojamiento del servidor dstack por ti. También proporciona acceso a un mercado de las GPUs más baratas. Ofrece un nivel gratuito para empezar.
• dstack Enterprise: Una versión auto-alojada diseñada para organizaciones más grandes, que incluye características de nivel empresarial como Inicio de Sesión Único (SSO), controles de gobernanza avanzados y soporte empresarial dedicado. Se puede solicitar una prueba para esta versión.

Este modelo hace que dstack sea accesible para investigadores individuales, startups y grandes empresas por igual.