Flyte

Flyte là một nền tảng điều phối quy trình công việc cấp sản xuất, mã nguồn mở và dựa trên đám mây, được thiết kế đặc biệt cho các đường ống dữ liệu, học máy và phân tích phức tạp. Là một dự án đã tốt nghiệp của Cloud Native Computing Foundation (CNCF), Flyte cung cấp một xương sống mạnh mẽ và đáng tin cậy cho MLOps, thu hẹp khoảng cách giữa phát triển cục bộ và môi trường sản xuất quy mô lớn. Nó cho phép các nhà khoa học dữ liệu và kỹ sư ML tập trung vào logic của họ, trong khi nền tảng xử lý khả năng mở rộng, khả năng tái tạo, khả năng chịu lỗi và quản lý cơ sở hạ tầng.

Cách sử dụng Flyte

Sử dụng Flyte bao gồm một cách tiếp cận có cấu trúc, ưu tiên mã nguồn để xác định và quản lý các quy trình công việc:

1. Xác định Tác vụ (Tasks): Tác vụ là đơn vị thực thi cơ bản. Sử dụng SDK Python, bạn xác định một tác vụ bằng decorator `@task`. Trong tác vụ, bạn chỉ định đầu vào, đầu ra, yêu cầu tài nguyên (ví dụ: CPU, bộ nhớ, GPU) và hình ảnh container.
2. Xây dựng Quy trình công việc (Workflows): Một quy trình công việc, được xác định bằng decorator `@workflow`, liên kết các tác vụ lại với nhau để tạo thành một Đồ thị không chu trình có hướng (DAG). Bạn xác định luồng dữ liệu giữa các tác vụ, tạo ra một đường ống hoàn chỉnh.
3. Lặp lại cục bộ: Flyte cung cấp các công cụ như `pyflyte run` để thực thi và gỡ lỗi các quy trình công việc của bạn trên máy cục bộ. Điều này cho phép lặp lại nhanh chóng và vòng lặp phản hồi chặt chẽ trước khi triển khai.
4. Đăng ký lên Sản xuất: Khi quy trình công việc của bạn đã sẵn sàng, bạn đăng ký nó với một cụm Flyte bằng cách sử dụng `pyflyte register`. Hành động này phiên bản hóa toàn bộ quy trình công việc của bạn, bao gồm cả mã và các phụ thuộc, đảm bảo khả năng tái tạo.
5. Khởi chạy và Giám sát: Bạn có thể kích hoạt các lần thực thi quy trình công việc thông qua giao diện người dùng Flyte, một công việc cron đã lên lịch hoặc API. Giao diện người dùng cung cấp một cái nhìn toàn diện để giám sát các lần thực thi, kiểm tra nhật ký, trực quan hóa đầu ra với FlyteDecks và phân tích dòng dõi dữ liệu.
6. Mở rộng với các Tính năng Nâng cao: Đối với xử lý quy mô lớn, bạn có thể tận dụng các tính năng như `map_task` để chạy một tác vụ song song trên một danh sách các đầu vào, hoặc sử dụng các quy trình công việc động để điều chỉnh cấu trúc của đường ống trong thời gian chạy.

Tính năng chính của Flyte

• Khả năng tái tạo & Phiên bản hóa: Mọi tác vụ và quy trình công việc đều được phiên bản hóa và bất biến. Flyte tự động theo dõi dòng dõi dữ liệu, cho phép bạn truy ngược bất kỳ đầu ra nào về đúng mã và dữ liệu đã tạo ra nó.
• Khả năng mở rộng & Hiệu suất: Được xây dựng trên Kubernetes, Flyte vốn có khả năng mở rộng. Nó hỗ trợ phân bổ tài nguyên động, tăng tốc GPU, các phiên bản spot/preemptible để tiết kiệm chi phí và song song hóa hàng loạt thông qua các map tasks.
• Trải nghiệm tập trung vào nhà phát triển: Có SDK ưu tiên Python trực quan cho các nhà khoa học dữ liệu. Nó trừu tượng hóa sự phức tạp của cơ sở hạ tầng với các tính năng như `ImageSpec`, giúp xây dựng hình ảnh container mà không cần kiến thức về Dockerfile.
• Độc lập ngôn ngữ: Mặc dù SDK chính là Python, Flyte hỗ trợ viết các tác vụ bằng bất kỳ ngôn ngữ nào (Java, Scala, R, v.v.) bằng cách chạy chúng trong các container riêng.
• Xử lý dữ liệu mạnh mẽ: Cung cấp các giao diện được định kiểu mạnh để phát hiện lỗi dữ liệu tại thời điểm biên dịch. Các loại `FlyteFile`, `FlyteDirectory` và `StructuredDataset` đơn giản hóa I/O dữ liệu giữa các tác vụ và lưu trữ đám mây.
• Logic điều phối nâng cao: Hỗ trợ các quy trình công việc động, phân nhánh có điều kiện, điểm kiểm tra trong tác vụ cho các tác vụ chạy dài và bộ nhớ đệm để tránh tính toán lại các bước tốn kém.
• Sẵn sàng cho doanh nghiệp: Cung cấp đa người thuê để cách ly nhóm, quản lý bí mật để truy cập an toàn vào thông tin xác thực và thông báo qua Slack, PagerDuty hoặc email.

Các trường hợp sử dụng Flyte

Flyte rất linh hoạt và được sử dụng trong nhiều ngành công nghiệp cho các đường ống quan trọng:

• Xử lý dữ liệu quy mô lớn (ETL): Xây dựng và lập lịch các đường ống ETL mạnh mẽ để xử lý terabyte dữ liệu cho phân tích và kho dữ liệu.
• Huấn luyện mô hình học máy: Điều phối các đường ống ML từ đầu đến cuối, từ tiền xử lý dữ liệu và kỹ thuật đặc trưng đến huấn luyện mô hình phân tán, tối ưu hóa siêu tham số và đánh giá.
• LLM & AI tạo sinh: Tinh chỉnh các Mô hình Ngôn ngữ Lớn (LLM), xây dựng các hệ thống Thế hệ Tăng cường Truy xuất (RAG) và quản lý các đồ thị suy luận phức tạp.
• Tin sinh học & Di truyền học: Chạy các quy trình công việc tin sinh học chuyên sâu về tính toán, chẳng hạn như căn chỉnh và phân tích chuỗi DNA, ở quy mô lớn.
• Phân tích không gian địa lý: Xử lý các bộ dữ liệu hình ảnh vệ tinh khổng lồ để tạo ra các sản phẩm dữ liệu như ảnh ghép và mô hình độ cao kỹ thuật số, như đã được chứng minh qua việc sử dụng với Xarray và GDAL.

Ưu điểm của Flyte

Flyte mang lại những lợi thế đáng kể so với các công cụ điều phối khác:

• Cấp sản xuất ngay từ ngày đầu: Sự tập trung vào việc định kiểu, phiên bản hóa và tính bất biến đảm bảo rằng các quy trình công việc đáng tin cậy và có thể tái tạo.
• Thống nhất các ngăn xếp Dữ liệu & ML: Cung cấp một nền tảng duy nhất cho các kỹ sư dữ liệu, nhà khoa học ML và các chuyên gia phân tích, phá vỡ các rào cản và thúc đẩy sự hợp tác.
• Giảm gánh nặng cơ sở hạ tầng: Tự động hóa nhiều khía cạnh thách thức của MLOps, chẳng hạn như container hóa, quản lý tài nguyên và mở rộng quy mô.
• Hiệu quả về chi phí: Lõi mã nguồn mở là miễn phí, trong khi các tính năng như bộ nhớ đệm, phục hồi lỗi và hỗ trợ phiên bản spot giúp giảm đáng kể chi phí tính toán.
• Hệ sinh thái sôi động: Là một dự án của CNCF, nó có một cộng đồng mạnh mẽ và tích hợp liền mạch với một loạt các công cụ như Spark, Ray, Pandera, Great Expectations, v.v.

Giá cả và gói dịch vụ

Flyte là một dự án mã nguồn mở được cấp phép theo Apache 2.0, hoàn toàn miễn phí để tải xuống, sử dụng và tự lưu trữ trên cơ sở hạ tầng của riêng bạn. Đối với các tổ chức thích một giải pháp cấp doanh nghiệp được quản lý hoàn toàn, Union.ai (công ty ban đầu tạo ra Flyte) cung cấp một nền tảng đám mây được lưu trữ. Dịch vụ thương mại này xử lý tất cả việc thiết lập, bảo trì và mở rộng cơ sở hạ tầng, đồng thời bao gồm hỗ trợ doanh nghiệp và các tính năng bổ sung.