dstack

dstack là một trình điều phối container mã nguồn mở mạnh mẽ được thiết kế đặc biệt để giải quyết những thách thức mà các nhóm Trí tuệ nhân tạo và Học máy phải đối mặt. Mục tiêu chính của nó là đơn giản hóa quy trình điều phối khối lượng công việc phức tạp và cải thiện đáng kể việc sử dụng các tài nguyên GPU đắt đỏ. Là một nền tảng không phụ thuộc vào nhà cung cấp, dstack cung cấp một lớp tính toán thống nhất tích hợp liền mạch với bất kỳ đám mây GPU nào (như AWS, GCP, Azure, OCI), các cụm tại chỗ và một loạt các phần cứng tăng tốc, bao gồm NVIDIA, AMD, TPU, v.v. Sự linh hoạt này đảm bảo rằng các nhóm không bị khóa vào một nhà cung cấp duy nhất và có thể tận dụng phần cứng tốt nhất cho nhu cầu của họ, bất kể nó ở đâu.

Nền tảng này được thiết kế với trải nghiệm của nhà phát triển làm cốt lõi, trừu tượng hóa sự phức tạp của cơ sở hạ tầng bên dưới. Điều này cho phép các kỹ sư ML và nhà nghiên cứu tập trung vào việc xây dựng, đào tạo và triển khai mô hình thay vì quản lý máy chủ, các phụ thuộc và mở rộng quy mô. dstack được các nhóm ML hàng đầu thế giới tại các công ty như Electronic Arts và Mobius Labs tin tưởng vì khả năng mở rộng từ việc tạo mẫu nhanh đến các công việc đào tạo phân tán đa nút lớn.

Cách sử dụng dstack

Bắt đầu với dstack là một quy trình đơn giản được thiết kế để áp dụng nhanh chóng:

1. Thiết lập Máy chủ: Bạn có thể bắt đầu bằng cách cài đặt máy chủ dstack trên máy cục bộ của mình bằng một lệnh đơn giản như uv tool install "dstack[all]" và chạy nó với dstack server. Ngoài ra, bạn có thể triển khai nó ở bất cứ đâu bằng hình ảnh Docker chính thức hoặc đăng ký dstack Sky, phiên bản đám mây được quản lý, để tránh phải tự lưu trữ.
2. Định nghĩa Cấu hình: Các luồng công việc trong dstack được định nghĩa bằng các tệp YAML đơn giản trong kho lưu trữ dự án của bạn. Các cấu hình này mô tả môi trường, tài nguyên và lệnh cho các tác vụ của bạn. Các loại cấu hình chính bao gồm:
   • Môi trường phát triển (Dev Environments): Dành cho phát triển tương tác, cho phép bạn kết nối IDE cục bộ của mình (như VS Code) với một máy GPU từ xa mạnh mẽ.
   • Tác vụ (Tasks): Để lên lịch các công việc hàng loạt, chẳng hạn như tiền đào tạo hoặc tinh chỉnh mô hình. Lý tưởng cho các khối lượng công việc chạy cho đến khi hoàn thành.
   • Dịch vụ (Services): Để triển khai các mô hình dưới dạng các điểm cuối an toàn, tự động mở rộng quy mô và tương thích với OpenAI.
   • Đội (Fleets): Để quản lý các nhóm phiên bản đám mây hoặc tại chỗ như một nhóm tài nguyên duy nhất.
3. Áp dụng Cấu hình: Khi tệp YAML của bạn đã sẵn sàng, bạn áp dụng nó bằng giao diện dòng lệnh: dstack apply. dstack sau đó sẽ xử lý phần còn lại: cung cấp cơ sở hạ tầng cần thiết, lên lịch công việc, quản lý tự động mở rộng quy mô, xử lý chuyển tiếp cổng và truyền phát nhật ký trở lại thiết bị đầu cuối của bạn. Để thực thi tách rời, bạn có thể sử dụng cờ -d.

Tính năng chính của dstack

• Lớp tính toán thống nhất: Cung cấp một mặt phẳng điều khiển duy nhất, không phụ thuộc vào nhà cung cấp cho tất cả các tài nguyên tính toán AI của bạn, cho dù trên đám mây hay tại chỗ.
• Hỗ trợ bộ tăng tốc rộng rãi: Hỗ trợ nguyên bản một loạt các phần cứng, bao gồm GPU NVIDIA, GPU AMD, TPU của Google Cloud, Intel Gaudi và các bộ tăng tốc Tenstorrent.
• Luồng công việc tập trung vào nhà phát triển: Cung cấp các cấu hình chuyên biệt như Môi trường phát triển để viết mã tương tác, Tác vụ để xử lý hàng loạt và Dịch vụ để triển khai mô hình dễ dàng.
• Quản lý tài nguyên hiệu quả: Có một bộ lập lịch tích hợp để tối đa hóa việc sử dụng GPU. Nó bao gồm các chính sách để tự động chấm dứt các phiên bản không được sử dụng hết, tiết kiệm chi phí.
• Tích hợp liền mạch: Hoạt động trơn tru với các đám mây GPU hàng đầu (AWS, GCP, Azure, OCI) và có thể chạy trên các cụm Kubernetes hiện có. Các đội SSH cho phép kết nối các máy chủ vật lý.
• Dịch vụ tự động mở rộng quy mô: Dễ dàng triển khai các mô hình dưới dạng các dịch vụ sẵn sàng sản xuất với các tính năng như tự động mở rộng quy mô, HTTPS và các điểm cuối API tương thích với OpenAI.
• Lưu trữ dữ liệu bền vững: Hỗ trợ các ổ đĩa mạng và phiên bản để lưu trữ dữ liệu, mô hình và bộ đệm qua các lần chạy, đảm bảo trạng thái không bị mất.
• Cấu hình nâng cao: Cho phép kiểm soát chi tiết với các tính năng như chính sách thử lại cho các vấn đề về dung lượng, quản lý biến môi trường và hỗ trợ hình ảnh Docker tùy chỉnh.

Các trường hợp sử dụng dstack

dstack rất linh hoạt và hỗ trợ một loạt các luồng công việc ML:

• Đào tạo và tinh chỉnh mô hình: Chạy các công việc đào tạo đơn nút hoặc phân tán cho các mô hình ngôn ngữ lớn (LLM) bằng các khung công tác phổ biến như TRL, Axolotl và DeepSpeed.
• Suy luận và phục vụ mô hình: Triển khai các mô hình được tối ưu hóa để suy luận bằng các khung phục vụ hiệu suất cao như vLLM, SGLang, TGI và NVIDIA NIM.
• Phát triển AI tương tác: Các kỹ sư ML có thể khởi động các môi trường phát triển mạnh mẽ được hỗ trợ bởi GPU trong vài giây, kết nối IDE cục bộ của họ để thử nghiệm và gỡ lỗi mã một cách tương tác.
• Quản lý cụm hiệu suất cao: Thiết lập, cấu hình và chạy các bài kiểm tra (ví dụ: kiểm tra NCCL) trên các cụm đa nút chuyên dụng như GCP A3 Mega hoặc các phiên bản được kích hoạt AWS EFA.
• Tối ưu hóa chi phí đa đám mây: Dễ dàng so sánh và sử dụng các phiên bản GPU hiệu quả nhất về chi phí trên các nhà cung cấp đám mây khác nhau cho bất kỳ tác vụ nào.

Ưu điểm của dstack

Ưu điểm chính của dstack là khả năng đơn giản hóa đáng kể cơ sở hạ tầng AI. Nó trao quyền cho các nhóm ML bằng cách cho phép họ tập trung vào nghiên cứu và mô hình của mình thay vì cơ sở hạ tầng. Các lợi ích chính bao gồm tăng năng suất, tiết kiệm chi phí đáng kể thông qua việc sử dụng GPU tốt hơn và quyền truy cập vào các phiên bản spot, và ngăn chặn sự phụ thuộc vào nhà cung cấp. Bản chất mã nguồn mở của nó thúc đẩy sự minh bạch và phát triển do cộng đồng định hướng, trong khi thiết kế tập trung vào nhà phát triển giúp việc định nghĩa cấu hình và chạy nó trở nên cực kỳ dễ dàng mà không cần lo lắng về tính khả dụng của GPU hoặc các thiết lập phức tạp.

Giá cả và gói dịch vụ

dstack cung cấp một cấu trúc giá linh hoạt để phù hợp với các nhu cầu khác nhau:

• dstack (Mã nguồn mở): Nền tảng cốt lõi là mã nguồn mở và miễn phí sử dụng. Bạn có thể tự lưu trữ nó trên cơ sở hạ tầng của riêng mình mà không mất phí cấp phép.
• dstack Sky: Một dịch vụ đám mây được quản lý giúp bạn lưu trữ máy chủ dstack. Nó cũng cung cấp quyền truy cập vào thị trường các GPU rẻ nhất. Nó cung cấp một gói miễn phí để bắt đầu.
• dstack Enterprise: Một phiên bản tự lưu trữ được thiết kế cho các tổ chức lớn hơn, bao gồm các tính năng cấp doanh nghiệp như Đăng nhập một lần (SSO), kiểm soát quản trị nâng cao và hỗ trợ doanh nghiệp chuyên dụng. Có thể yêu cầu dùng thử cho phiên bản này.

Mô hình này giúp dstack có thể tiếp cận được với các nhà nghiên cứu cá nhân, các công ty khởi nghiệp và các doanh nghiệp lớn.