Cloudflare Agents
Eine umfassende Entwicklerplattform zum Erstellen, Bereitstellen und Skalieren autonomer KI-Agenten. Sie nutzt die serverlose Infrastruktur von Cloudflare für …
Eine umfassende Entwicklerplattform zum Erstellen, Bereitstellen und Skalieren autonomer KI-Agenten. Sie nutzt die serverlose Infrastruktur von Cloudflare für dauerhafte Ausführung, effiziente LLM-Inferenz und ein kostengünstiges Pay-as-you-go-Preismodell, das für unvorhersehbare Arbeitslasten konzipiert ist.
Über Serverless
Serverless-Plattformen bieten ein cloud-natives Entwicklungsmodell, das es Entwicklern ermöglicht, KI-Anwendungen und -Dienste zu erstellen und auszuführen, ohne die zugrunde liegende Serverinfrastruktur verwalten zu müssen. Diese Tools arbeiten ereignisgesteuert und führen Code als Reaktion auf bestimmte Auslöser wie einen API-Aufruf oder einen Dateiupload aus. Dieser Ansatz ermöglicht es Entwicklern, sich ausschließlich auf das Schreiben von Code für ihre KI-Modelle und Geschäftslogik zu konzentrieren, während der Cloud-Anbieter die Serverbereitstellung, Skalierung und Wartung übernimmt. Der Hauptvorteil liegt in der automatischen Skalierbarkeit und der Pay-per-Execution-Preisgestaltung, was es für Workloads mit variablem Datenverkehr, wie z. B. KI-Inferenz-Endpunkte, äußerst effizient macht.
Kernfunktionen
- Ereignisgesteuerte Ausführung: Code wird automatisch als Reaktion auf Auslöser von verschiedenen Diensten ausgeführt, wie z. B. HTTP-Anfragen, Datenbankänderungen oder Dateiuploads.
- Automatische Skalierung: Die Plattform skaliert die Anwendung automatisch, indem sie bei Bedarf Code parallel ausführt, von null bis zu Tausenden von Anfragen.
- Verwaltete Infrastruktur: Beseitigt die Notwendigkeit der Serververwaltung, einschließlich Patching, Kapazitätsbereitstellung und Betriebssystemwartung.
- Pay-per-Use-Abrechnung: Benutzern wird nur die Rechenzeit in Rechnung gestellt, die ihr Code tatsächlich verbraucht, bis auf die Millisekunde genau, was zu keinen Kosten für Leerlaufzeiten führt.
Anwendungsfälle
Serverless wird häufig zum Erstellen von KI-gestützten Backends, Echtzeit-Datenverarbeitungspipelines und Microservices verwendet. Es ist besonders effektiv für die Bereitstellung von Inferenz-APIs für maschinelles Lernen, bei denen der Datenverkehr unvorhersehbar sein kann. Weitere häufige Anwendungen sind die Erstellung von Chatbots, die Verarbeitung von IoT-Sensordatenströmen und die Automatisierung von Datenvorbereitungsworkflows für das Modelltraining.
Wie man wählt
Bei der Auswahl einer Serverless-Plattform für KI sollten Sie die unterstützten Programmiersprachen und Frameworks (z. B. Python, TensorFlow, PyTorch) berücksichtigen. Bewerten Sie Leistungsmetriken wie Kaltstartzeiten, die die Benutzererfahrung beeinträchtigen können. Überprüfen Sie auch die Ausführungsgrenzen wie maximale Dauer und Speicherzuweisung, um sicherzustellen, dass sie den Anforderungen Ihres Modells entsprechen. Schließlich bewerten Sie die Integration der Plattform mit anderen Cloud-Diensten wie Speicher, Datenbanken und dedizierten KI/ML-Plattformen.
ServerlessAnwendungsfälle
Bereitstellung einer Echtzeit-Bilderkennungs-API
Ein Entwickler einer mobilen App muss eine Funktion hinzufügen, die Objekte in von Benutzern hochgeladenen Fotos identifiziert. Anstatt einen dedizierten Server bereitzustellen und zu verwalten, stellt er sein vortrainiertes Computer-Vision-Modell mithilfe einer Serverless-Funktion bereit. Ein API-Gateway wird so konfiguriert, dass diese Funktion immer dann ausgelöst wird, wenn ein neues Bild per POST an einen Endpunkt gesendet wird. Die Funktion lädt das Modell, führt eine Inferenz für das Bild durch und gibt die Objektbezeichnungen (z. B. 'Katze', 'Baum', 'Auto') als JSON-Antwort in weniger als einer Sekunde zurück. Dieser Ansatz ist äußerst kosteneffizient, da sie nur für die wenigen hundert Millisekunden Rechenzeit pro Foto bezahlen und er während der Spitzenzeiten automatisch skaliert, um Tausende von gleichzeitigen Benutzern ohne manuellen Eingriff zu bewältigen.
Automatisierte Datenvorverarbeitung für das Modelltraining
Ein Data-Science-Team muss große Mengen an Rohdaten verarbeiten, bevor sie für das Training von Machine-Learning-Modellen verwendet werden können. Sie richten einen Serverless-Workflow ein, bei dem das Hochladen einer neuen CSV-Datei in einen Cloud-Speicher-Bucket automatisch eine Funktion auslöst. Diese Funktion liest die Datei, führt Bereinigungsoperationen wie die Behandlung fehlender Werte durch, normalisiert numerische Merkmale und kodiert kategoriale Daten. Die verarbeiteten Daten werden dann in einem anderen Bucket gespeichert und sind für die Trainingspipeline bereit. Diese Serverless-Automatisierung eliminiert manuelle Skripte, gewährleistet eine konsistente Datenaufbereitung und skaliert mühelos, um Hunderte von eingehenden Dateien gleichzeitig zu verarbeiten, was den MLOps-Lebenszyklus erheblich beschleunigt.
Betrieb eines skalierbaren Chatbot-Backends
Ein Kundendienstunternehmen möchte einen KI-Chatbot auf seiner Website einsetzen, um häufige Anfragen zu bearbeiten. Sie erstellen die Logik des Chatbots und integrieren ein Modell zur Verarbeitung natürlicher Sprache (NLP) in eine Serverless-Funktion. Jede Nachricht, die ein Benutzer über das Chat-Widget der Website sendet, löst die Funktion über einen API-Aufruf aus. Die Funktion verarbeitet den Text des Benutzers, bestimmt die Absicht, fragt bei Bedarf eine Wissensdatenbank ab und formuliert eine Antwort. Da die Arbeitslast sporadisch ist – intensiv während der Geschäftszeiten und ruhig über Nacht – ist das Serverless-Modell ideal. Es skaliert automatisch, um Tausende von gleichzeitigen Gesprächen zu verwalten, und skaliert auf null herunter, wenn es inaktiv ist, wodurch sichergestellt wird, dass sie nur für aktive Interaktionen und nicht für ungenutzte Serverkapazität bezahlen.
Echtzeit-IoT-Datenanalyse und -Benachrichtigung
Ein Agrartechnologieunternehmen verwendet Tausende von IoT-Sensoren, um die Bodenfeuchtigkeit und -temperatur auf riesigen Ackerflächen zu überwachen. Jeder Sensor sendet minütlich Daten an einen Cloud-IoT-Dienst. Dieser Dienst ist so konfiguriert, dass für jeden neu empfangenen Datenpunkt eine Serverless-Funktion ausgelöst wird. Die Funktion führt ein kleines Vorhersagemodell aus, um Anomalien zu überprüfen, wie z. B. einen plötzlichen Feuchtigkeitsabfall, der auf einen möglichen Ausfall des Bewässerungssystems hindeutet. Wenn eine Anomalie erkannt wird, sendet die Funktion über einen Push-Benachrichtigungsdienst eine sofortige Warnung an das mobile Gerät des Farmmanagers. Diese ereignisgesteuerte, serverlose Architektur ermöglicht eine massive, echtzeitnahe Datenerfassung und -analyse zu geringen Kosten, da Rechenressourcen nur für den kurzen Moment verwendet werden, in dem jeder Sensorwert verarbeitet wird.
Geplante Auslöser für das erneute Trainieren von Modellen
Ein MLOps-Ingenieur ist dafür verantwortlich, ein Betrugserkennungsmodell mit den neuesten Transaktionsdaten auf dem neuesten Stand zu halten. Er konfiguriert eine Serverless-Funktion, die nach einem Zeitplan ausgeführt wird, zum Beispiel jeden Sonntag um 2 Uhr morgens. Wenn sie ausgelöst wird, führt die Funktion ein Skript aus, das einen Data Lake auf neue, gekennzeichnete Daten der vergangenen Woche überprüft. Wenn genügend neue Daten vorhanden sind, initiiert die Funktion einen Auftrag zum erneuten Trainieren des Modells auf einer dedizierten ML-Plattform wie Amazon SageMaker oder Google AI Platform. Nach Abschluss des Trainingsauftrags löst ein anderes Ereignis dieselbe Funktion (oder eine andere) aus, um die Leistung des neuen Modells zu bewerten und es bei Bestehen in die Produktion zu überführen. Dies automatisiert den gesamten Zyklus des erneuten Trainierens, ohne dass ein ständig laufender Server zur Verwaltung des Zeitplans erforderlich ist.
On-Demand-Video- und Audiotranskription
Ein Medienunternehmen muss für alle auf seine Plattform hochgeladenen Videoinhalte Transkripte erstellen. Sie erstellen einen Serverless-Workflow, bei dem eine neue Videodatei, die in einen Speicher-Bucket hochgeladen wird, eine Funktion auslöst. Diese Funktion ruft einen cloudbasierten KI-Transkriptionsdienst (wie AWS Transcribe oder Google Speech-to-Text) auf und übergibt den Speicherort der Videodatei. Der Transkriptionsdienst verarbeitet das Audio asynchron. Sobald die Transkription abgeschlossen ist, sendet er eine Benachrichtigung, die eine zweite Serverless-Funktion auslöst. Diese zweite Funktion ruft den Transkripttext ab, formatiert ihn in eine Standard-Untertiteldatei (z. B. .srt) und speichert sie im selben Bucket wie das Originalvideo. Dieser gesamte Prozess ist automatisiert, skalierbar und kosteneffizient und wird nur ausgeführt, wenn neue Inhalte hinzugefügt werden.