Cloudflare Agents
Một nền tảng phát triển toàn diện để xây dựng, triển khai và mở rộng các tác tử …
Một nền tảng phát triển toàn diện để xây dựng, triển khai và mở rộng các tác tử AI tự trị. Nền tảng này tận dụng cơ sở hạ tầng không máy chủ của Cloudflare để thực thi bền vững, suy luận LLM hiệu quả và mô hình định giá trả theo mức sử dụng tiết kiệm chi phí, được thiết kế cho các khối lượng công việc không thể đoán trước.
Về Không máy chủ
Nền tảng không máy chủ (Serverless) cung cấp một mô hình phát triển dựa trên đám mây cho phép các nhà phát triển xây dựng và chạy các ứng dụng và dịch vụ AI mà không cần quản lý cơ sở hạ tầng máy chủ cơ bản. Các công cụ này hoạt động dựa trên sự kiện, thực thi mã để phản hồi các trình kích hoạt cụ thể như một lệnh gọi API hoặc tải lên tệp. Cách tiếp cận này cho phép các nhà phát triển chỉ tập trung vào việc viết mã cho các mô hình AI và logic nghiệp vụ của họ, trong khi nhà cung cấp đám mây xử lý việc cấp phép, mở rộng quy mô và bảo trì máy chủ. Giá trị chính nằm ở khả năng mở rộng tự động và định giá trả tiền cho mỗi lần thực thi, làm cho nó rất hiệu quả đối với các khối lượng công việc có lưu lượng thay đổi, chẳng hạn như các điểm cuối suy luận AI.
Tính năng cốt lõi
- Thực thi dựa trên sự kiện: Mã được thực thi tự động để phản hồi các trình kích hoạt từ các dịch vụ khác nhau, chẳng hạn như yêu cầu HTTP, thay đổi cơ sở dữ liệu hoặc tải lên tệp.
- Tự động mở rộng quy mô: Nền tảng tự động mở rộng quy mô ứng dụng bằng cách chạy mã song song khi cần, từ không đến hàng nghìn yêu cầu.
- Cơ sở hạ tầng được quản lý: Loại bỏ nhu cầu quản lý máy chủ, bao gồm vá lỗi, cấp phép dung lượng và bảo trì hệ điều hành.
- Thanh toán theo mức sử dụng: Người dùng chỉ bị tính phí cho thời gian tính toán mà mã của họ thực sự tiêu thụ, tính đến từng mili giây, dẫn đến không có chi phí cho thời gian nhàn rỗi.
Trường hợp sử dụng
Serverless được sử dụng rộng rãi để xây dựng các backend được hỗ trợ bởi AI, các quy trình xử lý dữ liệu thời gian thực và các microservice. Nó đặc biệt hiệu quả để triển khai các API suy luận mô hình học máy, nơi lưu lượng truy cập có thể không thể đoán trước. Các ứng dụng phổ biến khác bao gồm tạo chatbot, xử lý luồng dữ liệu cảm biến IoT và tự động hóa quy trình chuẩn bị dữ liệu để huấn luyện mô hình.
Cách chọn
Khi chọn một nền tảng Serverless cho AI, hãy xem xét các ngôn ngữ lập trình và framework được hỗ trợ (ví dụ: Python, TensorFlow, PyTorch). Đánh giá các chỉ số hiệu suất như thời gian khởi động nguội (cold start), có thể ảnh hưởng đến trải nghiệm người dùng. Ngoài ra, hãy kiểm tra các giới hạn thực thi, chẳng hạn như thời lượng tối đa và phân bổ bộ nhớ, để đảm bảo chúng phù hợp với yêu cầu của mô hình của bạn. Cuối cùng, hãy đánh giá khả năng tích hợp của nền tảng với các dịch vụ đám mây khác, như lưu trữ, cơ sở dữ liệu và các nền tảng AI/ML chuyên dụng.
Không máy chủTrường hợp sử dụng
Triển khai API nhận dạng hình ảnh thời gian thực
Một nhà phát triển ứng dụng di động cần thêm một tính năng nhận dạng các đối tượng trong ảnh do người dùng tải lên. Thay vì cấp phép và quản lý một máy chủ chuyên dụng, họ triển khai mô hình thị giác máy tính đã được đào tạo trước bằng cách sử dụng một hàm không máy chủ. Một API Gateway được cấu hình để kích hoạt hàm này mỗi khi có một hình ảnh mới được POST đến một điểm cuối. Hàm này tải mô hình, thực hiện suy luận trên hình ảnh và trả về các nhãn đối tượng (ví dụ: 'mèo', 'cây', 'ô tô') dưới dạng phản hồi JSON trong vòng chưa đầy một giây. Cách tiếp cận này rất hiệu quả về chi phí vì họ chỉ trả tiền cho vài trăm mili giây thời gian tính toán cho mỗi bức ảnh và nó tự động mở rộng quy mô để xử lý hàng nghìn người dùng đồng thời trong giờ cao điểm mà không cần bất kỳ sự can thiệp thủ công nào.
Tự động hóa tiền xử lý dữ liệu để huấn luyện mô hình
Một nhóm khoa học dữ liệu cần xử lý khối lượng lớn dữ liệu thô trước khi có thể sử dụng để huấn luyện các mô hình học máy. Họ thiết lập một quy trình làm việc không máy chủ, trong đó việc tải lên một tệp CSV mới vào một vùng lưu trữ đám mây sẽ tự động kích hoạt một hàm. Hàm này đọc tệp, thực hiện các hoạt động làm sạch như xử lý các giá trị bị thiếu, chuẩn hóa các đặc trưng số và mã hóa dữ liệu phân loại. Dữ liệu đã xử lý sau đó được lưu vào một vùng lưu trữ khác, sẵn sàng cho quy trình huấn luyện. Việc tự động hóa không máy chủ này loại bỏ các kịch bản thủ công, đảm bảo việc chuẩn bị dữ liệu nhất quán và dễ dàng mở rộng quy mô để xử lý hàng trăm tệp đến đồng thời, giúp tăng tốc đáng kể vòng đời MLOps.
Cung cấp năng lượng cho backend chatbot có thể mở rộng
Một công ty dịch vụ khách hàng muốn triển khai một chatbot AI trên trang web của họ để xử lý các truy vấn phổ biến. Họ xây dựng logic của chatbot và tích hợp một mô hình Xử lý ngôn ngữ tự nhiên (NLP) trong một hàm không máy chủ. Mỗi tin nhắn do người dùng gửi qua tiện ích trò chuyện của trang web sẽ kích hoạt hàm này thông qua một lệnh gọi API. Hàm này xử lý văn bản của người dùng, xác định ý định, truy vấn cơ sở kiến thức nếu cần và xây dựng một câu trả lời. Bởi vì khối lượng công việc không liên tục—cao điểm trong giờ làm việc và yên tĩnh vào ban đêm—mô hình không máy chủ là lý tưởng. Nó tự động mở rộng quy mô để quản lý hàng nghìn cuộc trò chuyện đồng thời và thu nhỏ về không khi không hoạt động, đảm bảo họ chỉ trả tiền cho sự tương tác tích cực chứ không phải cho dung lượng máy chủ nhàn rỗi.
Phân tích dữ liệu IoT thời gian thực và cảnh báo
Một công ty công nghệ nông nghiệp sử dụng hàng nghìn cảm biến IoT để theo dõi độ ẩm và nhiệt độ của đất trên các vùng đất nông nghiệp rộng lớn. Mỗi cảm biến gửi dữ liệu mỗi phút đến một dịch vụ IoT trên đám mây. Dịch vụ này được cấu hình để kích hoạt một hàm không máy chủ cho mỗi điểm dữ liệu mới nhận được. Hàm này chạy một mô hình dự đoán nhỏ để kiểm tra các điểm bất thường, chẳng hạn như độ ẩm giảm đột ngột cho thấy hệ thống tưới tiêu có thể bị lỗi. Nếu phát hiện điểm bất thường, hàm sẽ gửi cảnh báo ngay lập tức đến thiết bị di động của người quản lý trang trại thông qua dịch vụ thông báo đẩy. Kiến trúc không máy chủ, dựa trên sự kiện này cho phép thu thập và phân tích dữ liệu quy mô lớn, thời gian thực với chi phí thấp, vì tài nguyên tính toán chỉ được sử dụng trong khoảnh khắc ngắn ngủi khi mỗi lần đọc cảm biến được xử lý.
Trình kích hoạt đào tạo lại mô hình theo lịch trình
Một kỹ sư MLOps chịu trách nhiệm cập nhật mô hình phát hiện gian lận với dữ liệu giao dịch mới nhất. Họ cấu hình một hàm không máy chủ để chạy theo lịch trình, ví dụ, vào 2 giờ sáng Chủ nhật hàng tuần. Khi được kích hoạt, hàm này thực thi một kịch bản kiểm tra hồ dữ liệu để tìm dữ liệu mới được gắn nhãn từ tuần trước. Nếu có đủ dữ liệu mới, hàm sẽ khởi tạo một công việc đào tạo lại mô hình trên một nền tảng ML chuyên dụng như Amazon SageMaker hoặc Google AI Platform. Sau khi công việc đào tạo hoàn tất, một sự kiện khác sẽ kích hoạt cùng một hàm (hoặc một hàm khác) để đánh giá hiệu suất của mô hình mới và nếu nó vượt qua, sẽ triển khai nó vào sản xuất. Điều này tự động hóa toàn bộ chu kỳ đào tạo lại mà không cần một máy chủ chạy liên tục để quản lý lịch trình.
Phiên âm video và âm thanh theo yêu cầu
Một công ty truyền thông cần tạo bản ghi cho tất cả nội dung video được tải lên nền tảng của họ. Họ tạo ra một quy trình làm việc không máy chủ, trong đó một tệp video mới được tải lên một vùng lưu trữ sẽ kích hoạt một hàm. Hàm này gọi một dịch vụ phiên âm AI dựa trên đám mây (như AWS Transcribe hoặc Google Speech-to-Text), truyền vị trí của tệp video. Dịch vụ phiên âm xử lý âm thanh một cách không đồng bộ. Sau khi phiên âm hoàn tất, nó sẽ gửi một thông báo kích hoạt một hàm không máy chủ thứ hai. Hàm thứ hai này lấy văn bản phiên âm, định dạng nó thành một tệp phụ đề tiêu chuẩn (ví dụ: .srt) và lưu nó vào cùng một vùng lưu trữ với video gốc. Toàn bộ quá trình này được tự động hóa, có thể mở rộng và hiệu quả về chi phí, chỉ chạy khi có nội dung mới được thêm vào.