MLOps Tốt nhất trong lĩnh vực 1 cái Quản lý cơ sở hạ tầng Công cụ AI

Phòng thí nghiệm nghiên cứu AI của một trường đại học có một số lượng hạn chế các GPU cao cấp được chia sẻ cho hàng chục sinh viên và nhà nghiên cứu. Một quản trị viên MLOps sử dụng công cụ quản lý cơ sở hạ tầng để tạo ra một hệ thống lập lịch công bằng. Công cụ này cho phép họ đặt hạn ngạch tài nguyên, ưu tiên các công việc quan trọng và cung cấp một giao diện đơn giản để người dùng gửi các tác vụ huấn luyện của họ. Điều này giúp ngăn chặn xung đột tài nguyên, tối đa hóa việc sử dụng phần cứng đắt tiền và cung cấp khả năng hiển thị rõ ràng về việc ai đang sử dụng tài nguyên nào tại bất kỳ thời điểm nào.

Một công ty khởi nghiệp AI cần huấn luyện một mô hình thị giác máy tính mới trên một tập dữ liệu lớn. Thay vì cấu hình thủ công các phiên bản đám mây, kỹ sư MLOps của họ xác định một mẫu môi trường huấn luyện trong công cụ quản lý cơ sở hạ tầng. Khi một nhà khoa học dữ liệu bắt đầu một lượt huấn luyện, công cụ sẽ tự động cấp phát một cụm gồm 10 phiên bản GPU trên AWS, cài đặt tất cả các phụ thuộc cần thiết từ một ảnh Docker, chạy công việc, và sau đó chấm dứt tất cả các phiên bản khi hoàn thành. Việc tự động hóa này tiết kiệm hàng giờ thiết lập thủ công và giảm chi phí đám mây bằng cách đảm bảo tài nguyên chỉ hoạt động khi cần thiết.

Hóa đơn đám mây hàng tháng của một doanh nghiệp lớn cho việc huấn luyện mô hình AI quá cao. Một nhóm MLOps triển khai một công cụ quản lý cơ sở hạ tầng để giành quyền kiểm soát. Bảng điều khiển của công cụ cho thấy nhiều phiên bản GPU mạnh mẽ bị bỏ không hoạt động qua đêm. Họ cấu hình các chính sách để tự động tắt hoặc ngủ đông các không gian làm việc không hoạt động. Hơn nữa, công cụ này giúp họ tận dụng các phiên bản spot rẻ hơn cho các công việc huấn luyện không quan trọng bằng cách tự động xử lý các gián đoạn và tiếp tục. Trong vòng ba tháng, họ đã giảm chi tiêu tính toán đám mây hơn 30% mà không ảnh hưởng đến năng suất của nhóm.

Một nhóm khoa học dữ liệu thường xuyên gặp phải vấn đề "nó hoạt động trên máy của tôi", khi mã nguồn thất bại trong môi trường sản xuất do sự khác biệt về môi trường cục bộ. Sử dụng công cụ quản lý cơ sở hạ tầng, trưởng nhóm xác định một môi trường phát triển được container hóa, tiêu chuẩn với các phiên bản cụ thể của Python, CUDA và các thư viện chính. Giờ đây, mọi nhà khoa học dữ liệu đều có thể khởi chạy một không gian làm việc giống hệt, được cấu hình sẵn chỉ bằng một cú nhấp chuột, dù là ở cục bộ hay trên đám mây. Điều này đảm bảo khả năng tái tạo, đơn giản hóa quá trình giới thiệu cho các thành viên mới trong nhóm và loại bỏ các lỗi liên quan đến môi trường trong quá trình triển khai.

Một tổ chức tài chính phải huấn luyện các mô hình trên dữ liệu khách hàng nhạy cảm không thể rời khỏi trung tâm dữ liệu tại chỗ của họ. Tuy nhiên, họ muốn sử dụng đám mây công cộng cho các tác vụ ít nhạy cảm hơn như tiền huấn luyện trên các tập dữ liệu công khai. Họ sử dụng một công cụ quản lý cơ sở hạ tầng hybrid-cloud cung cấp một giao diện duy nhất để quản lý cả cụm Kubernetes tại chỗ và tài khoản GCP của họ. Điều này cho phép họ lên lịch các công việc một cách liền mạch đến môi trường phù hợp dựa trên các chính sách bảo mật dữ liệu, trong khi các nhà khoa học dữ liệu có một trải nghiệm thống nhất bất kể việc tính toán diễn ra ở đâu.

Một công ty bán lẻ triển khai một công cụ đề xuất thời gian thực dưới dạng một microservice trên Kubernetes. Công cụ quản lý cơ sở hạ tầng của họ được cấu hình để giám sát dịch vụ sản xuất này. Nó tự động mở rộng số lượng pod suy luận dựa trên lưu lượng người dùng đến, đảm bảo độ trễ thấp trong giờ mua sắm cao điểm. Nếu một pod không phản hồi, hệ thống sẽ tự động phát hiện lỗi và thay thế nó bằng một pod khỏe mạnh, đảm bảo dịch vụ luôn sẵn sàng cho khách hàng 24/7. Việc quản lý tự động này rất quan trọng để duy trì một ứng dụng AI đáng tin cậy, cấp sản xuất.