dstack

dstack é um poderoso orquestrador de contêineres de código aberto, projetado especificamente para enfrentar os desafios enfrentados pelas equipes de Inteligência Artificial e Machine Learning. Seu objetivo principal é simplificar o complexo processo de orquestração de cargas de trabalho e melhorar significativamente a utilização de recursos caros de GPU. Como uma plataforma agnóstica de fornecedor, o dstack oferece uma camada de computação unificada que se integra perfeitamente com qualquer nuvem de GPU (como AWS, GCP, Azure, OCI), clusters locais e uma vasta gama de hardware acelerado, incluindo NVIDIA, AMD, TPUs e mais. Essa flexibilidade garante que as equipes não fiquem presas a um único provedor e possam aproveitar o melhor hardware para suas necessidades, onde quer que esteja localizado.

A plataforma foi projetada com a experiência do desenvolvedor em seu núcleo, abstraindo as complexidades da infraestrutura subjacente. Isso permite que engenheiros de ML e pesquisadores se concentrem na construção, treinamento e implantação de modelos, em vez de gerenciar servidores, dependências e escalonamento. O dstack é confiável por equipes de ML de classe mundial em empresas como Electronic Arts e Mobius Labs por sua capacidade de escalar desde a prototipagem rápida até grandes trabalhos de treinamento distribuído em múltiplos nós.

Como usar dstack

Começar a usar o dstack é um processo direto, projetado para adoção rápida:

1. Configurar o Servidor: Você pode começar instalando o servidor dstack em sua máquina local usando um comando simples como uv tool install "dstack[all]" e executando-o com dstack server. Alternativamente, você pode implantá-lo em qualquer lugar usando a imagem Docker oficial ou se inscrever no dstack Sky, a versão gerenciada na nuvem, para evitar o auto-hospedagem.
2. Definir Configurações: Os fluxos de trabalho no dstack são definidos usando arquivos YAML simples dentro do seu repositório de projeto. Essas configurações descrevem o ambiente, os recursos e os comandos para suas tarefas. Os principais tipos de configuração incluem:
   • Ambientes de Desenvolvimento (Dev Environments): Para desenvolvimento interativo, permitindo que você conecte seu IDE local (como o VS Code) a uma poderosa máquina GPU remota.
   • Tarefas (Tasks): Para agendar trabalhos em lote, como pré-treinamento ou ajuste fino de modelos. Ideal para cargas de trabalho que são executadas até a conclusão.
   • Serviços (Services): Para implantar modelos como endpoints seguros, com autoescalonamento e compatíveis com OpenAI.
   • Frotas (Fleets): Para gerenciar grupos de instâncias na nuvem ou locais como um único pool de recursos.
3. Aplicar Configurações: Quando seu arquivo YAML estiver pronto, você o aplica usando a interface de linha de comando: dstack apply. O dstack então cuida do resto: provisionando a infraestrutura necessária, agendando o trabalho, gerenciando o autoescalonamento, tratando o encaminhamento de portas e transmitindo os logs de volta para o seu terminal. Para execução desacoplada, você pode usar a flag -d.

Recursos principais do dstack

• Camada de Computação Unificada: Fornece um único plano de controle agnóstico de fornecedor para todos os seus recursos de computação de IA, seja na nuvem ou localmente.
• Amplo Suporte a Aceleradores: Suporta nativamente uma ampla gama de hardware, incluindo GPUs NVIDIA, GPUs AMD, TPUs do Google Cloud, Intel Gaudi e aceleradores Tenstorrent.
• Fluxos de Trabalho Centrados no Desenvolvedor: Oferece configurações especializadas como Ambientes de Desenvolvimento para codificação interativa, Tarefas para processamento em lote e Serviços para fácil implantação de modelos.
• Gerenciamento Eficiente de Recursos: Possui um agendador integrado para maximizar a utilização de GPUs. Inclui políticas para encerrar automaticamente instâncias subutilizadas, economizando custos.
• Integração Perfeita: Funciona sem problemas com as principais nuvens de GPU (AWS, GCP, Azure, OCI) e pode ser executado sobre clusters Kubernetes existentes. As frotas SSH permitem a conexão de servidores bare-metal.
• Serviços de Autoescalonamento: Implante facilmente modelos como serviços prontos para produção com recursos como autoescalonamento, HTTPS e endpoints de API compatíveis com OpenAI.
• Persistência de Dados: Suporta volumes de rede e de instância para persistir dados, modelos e caches entre as execuções, garantindo que o estado não seja perdido.
• Configuração Avançada: Permite controle refinado com recursos como políticas de nova tentativa para problemas de capacidade, gerenciamento de variáveis de ambiente e suporte a imagens Docker personalizadas.

Casos de uso para dstack

O dstack é versátil e suporta uma ampla gama de fluxos de trabalho de ML:

• Treinamento e Ajuste Fino de Modelos: Execute trabalhos de treinamento de nó único ou distribuído para grandes modelos de linguagem (LLMs) usando frameworks populares como TRL, Axolotl e DeepSpeed.
• Inferência e Serviço de Modelos: Implante modelos otimizados para inferência usando frameworks de serviço de alto desempenho como vLLM, SGLang, TGI e NVIDIA NIM.
• Desenvolvimento Interativo de IA: Engenheiros de ML podem iniciar poderosos ambientes de desenvolvimento com suporte de GPU em segundos, conectando seu IDE local para experimentar e depurar código interativamente.
• Gerenciamento de Clusters de Alto Desempenho: Configure e execute testes (por exemplo, testes NCCL) em clusters especializados de múltiplos nós, como GCP A3 Mega ou instâncias habilitadas para AWS EFA.
• Otimização de Custos entre Nuvens: Compare e utilize sem esforço as instâncias de GPU mais econômicas entre diferentes provedores de nuvem para qualquer tarefa.

Vantagens do dstack

A principal vantagem do dstack é sua capacidade de simplificar drasticamente a infraestrutura de IA. Ele capacita as equipes de ML, permitindo que se concentrem em suas pesquisas e modelos em vez da infraestrutura. Os principais benefícios incluem aumento da produtividade, economia significativa de custos através de uma melhor utilização de GPUs e acesso a instâncias spot, e a prevenção de aprisionamento tecnológico (vendor lock-in). Sua natureza de código aberto promove a transparência e o desenvolvimento impulsionado pela comunidade, enquanto o design centrado no desenvolvedor torna incrivelmente fácil definir uma configuração e executá-la sem se preocupar com a disponibilidade de GPUs ou configurações complexas.

Preços e planos

O dstack oferece uma estrutura de preços flexível para atender a diferentes necessidades:

• dstack (Código Aberto): A plataforma principal é de código aberto e de uso gratuito. Você pode auto-hospedá-la em sua própria infraestrutura sem taxas de licença.
• dstack Sky: Um serviço de nuvem gerenciado que cuida da hospedagem do servidor dstack para você. Ele também fornece acesso a um mercado das GPUs mais baratas. Oferece um nível gratuito para começar.
• dstack Enterprise: Uma versão auto-hospedada projetada para organizações maiores, que inclui recursos de nível empresarial como Single Sign-On (SSO), controles avançados de governança e suporte empresarial dedicado. Um teste pode ser solicitado para esta versão.

Este modelo torna o dstack acessível a pesquisadores individuais, startups e grandes empresas.