Cloudflare Agents
자율 AI 에이전트를 구축, 배포 및 확장하기 위한 포괄적인 개발자 플랫폼입니다. Cloudflare의 서버리스 인프라를 활용하여 영속적인 실행, 효율적인 …
자율 AI 에이전트를 구축, 배포 및 확장하기 위한 포괄적인 개발자 플랫폼입니다. Cloudflare의 서버리스 인프라를 활용하여 영속적인 실행, 효율적인 LLM 추론 및 예측 불가능한 워크로드를 위해 설계된 비용 효율적인 종량제 가격 모델을 제공합니다.
서버리스에 대하여
서버리스 플랫폼은 개발자가 기본 서버 인프라를 관리하지 않고도 AI 애플리케이션과 서비스를 구축하고 실행할 수 있는 클라우드 네이티브 개발 모델을 제공합니다. 이러한 도구는 이벤트 기반으로 작동하며, API 호출이나 파일 업로드와 같은 특정 트리거에 응답하여 코드를 실행합니다. 이 접근 방식을 통해 개발자는 AI 모델 및 비즈니스 로직을 위한 코드 작성에만 집중할 수 있으며, 클라우드 제공업체가 서버 프로비저닝, 확장 및 유지보수를 처리합니다. 주요 가치는 자동 확장성과 실행당 과금 모델에 있으며, AI 추론 엔드포인트와 같이 트래픽 변동이 심한 워크로드에 매우 효율적입니다.
핵심 기능
- 이벤트 기반 실행: HTTP 요청, 데이터베이스 변경 또는 파일 업로드와 같은 다양한 서비스의 트리거에 응답하여 코드가 자동으로 실행됩니다.
- 자동 확장: 플랫폼은 필요에 따라 코드를 병렬로 실행하여 애플리케이션을 0에서 수천 개의 요청까지 자동으로 확장합니다.
- 관리형 인프라: 패치, 용량 프로비저닝 및 OS 유지보수를 포함한 서버 관리의 필요성을 제거합니다.
- 사용량 기반 과금: 사용자는 코드가 실제로 소비한 컴퓨팅 시간에 대해서만 밀리초 단위로 요금이 부과되므로 유휴 시간에 대한 비용이 없습니다.
적용 사례
서버리스는 AI 기반 백엔드, 실시간 데이터 처리 파이프라인 및 마이크로서비스 구축에 널리 사용됩니다. 특히 트래픽을 예측하기 어려운 머신러닝 모델 추론 API를 배포하는 데 효과적입니다. 다른 일반적인 응용 분야로는 챗봇 생성, IoT 센서 데이터 스트림 처리, 모델 훈련을 위한 데이터 준비 워크플로우 자동화 등이 있습니다.
선택 방법
AI 프로젝트를 위한 서버리스 플랫폼을 선택할 때는 지원되는 프로그래밍 언어 및 프레임워크(예: Python, TensorFlow, PyTorch)를 고려하십시오. 사용자 경험에 영향을 미칠 수 있는 콜드 스타트 시간과 같은 성능 지표를 평가하십시오. 또한 모델의 요구 사항에 맞는지 확인하기 위해 최대 실행 시간 및 메모리 할당과 같은 실행 제한을 확인하십시오. 마지막으로 스토리지, 데이터베이스 및 전용 AI/ML 플랫폼과 같은 다른 클라우드 서비스와의 통합을 평가하십시오.
서버리스응용 시나리오
실시간 이미지 인식 API 배포
모바일 앱 개발자는 사용자가 업로드한 사진 속 객체를 식별하는 기능을 추가해야 합니다. 전용 서버를 프로비저닝하고 관리하는 대신, 사전 훈련된 컴퓨터 비전 모델을 서버리스 함수를 사용하여 배포합니다. API 게이트웨이는 새 이미지가 엔드포인트에 POST될 때마다 이 함수를 트리거하도록 구성됩니다. 함수는 모델을 로드하고 이미지에 대한 추론을 수행한 다음 객체 레이블(예: '고양이', '나무', '자동차')을 1초 이내에 JSON 응답으로 반환합니다. 이 접근 방식은 사진 한 장당 수백 밀리초의 컴퓨팅 시간에 대해서만 비용을 지불하므로 비용 효율성이 매우 높으며, 피크 시간대에는 수동 개입 없이 수천 명의 동시 사용자를 처리하기 위해 자동으로 확장됩니다.
모델 훈련을 위한 데이터 전처리 자동화
데이터 과학 팀은 머신러닝 모델 훈련에 사용하기 전에 대량의 원시 데이터를 처리해야 합니다. 그들은 새 CSV 파일이 클라우드 스토리지 버킷에 업로드될 때마다 자동으로 함수를 트리거하는 서버리스 워크플로우를 설정합니다. 이 함수는 파일을 읽고, 결측값 처리와 같은 정리 작업을 수행하고, 수치적 특징을 정규화하고, 범주형 데이터를 인코딩합니다. 처리된 데이터는 다른 버킷에 저장되어 훈련 파이프라인에 사용할 준비가 됩니다. 이 서버리스 자동화는 수동 스크립트를 제거하고 일관된 데이터 준비를 보장하며, 수백 개의 들어오는 파일을 동시에 처리하기 위해 손쉽게 확장되어 MLOps 수명 주기를 크게 가속화합니다.
확장 가능한 챗봇 백엔드 구동
한 고객 서비스 회사는 일반적인 문의를 처리하기 위해 웹사이트에 AI 챗봇을 배포하고자 합니다. 그들은 챗봇의 로직을 구축하고 자연어 처리(NLP) 모델을 서버리스 함수 내에 통합합니다. 사용자가 웹사이트의 채팅 위젯을 통해 보내는 각 메시지는 API 호출을 통해 함수를 트리거합니다. 함수는 사용자의 텍스트를 처리하고, 의도를 파악하며, 필요한 경우 지식 베이스를 쿼리하고, 응답을 공식화합니다. 작업량이 산발적이기 때문에(업무 시간에는 집중되고 밤에는 조용함) 서버리스 모델이 이상적입니다. 수천 개의 동시 대화를 관리하기 위해 자동으로 확장되고 비활성 상태일 때는 0으로 축소되어, 유휴 서버 용량이 아닌 활성 참여에 대해서만 비용을 지불하도록 보장합니다.
실시간 IoT 데이터 분석 및 경고
한 농업 기술 회사는 광활한 농지의 토양 수분과 온도를 모니터링하기 위해 수천 개의 IoT 센서를 사용합니다. 각 센서는 매분 클라우드 IoT 서비스로 데이터를 전송합니다. 이 서비스는 새로운 데이터 포인트가 수신될 때마다 서버리스 함수를 트리거하도록 구성되어 있습니다. 이 함수는 작은 예측 모델을 실행하여 관개 시스템 고장을 나타낼 수 있는 급격한 수분 감소와 같은 이상 징후를 확인합니다. 이상이 감지되면 함수는 푸시 알림 서비스를 통해 농장 관리자의 모바일 장치로 즉시 경고를 보냅니다. 이 이벤트 기반의 서버리스 아키텍처는 각 센서 판독값이 처리되는 짧은 순간에만 컴퓨팅 리소스가 사용되므로 저렴한 비용으로 대규모 실시간 데이터 수집 및 분석을 가능하게 합니다.
예약된 모델 재훈련 트리거
MLOps 엔지니어는 사기 탐지 모델을 최신 거래 데이터로 최신 상태로 유지하는 책임을 맡고 있습니다. 그들은 예를 들어 매주 일요일 오전 2시와 같이 정해진 일정에 따라 실행되도록 서버리스 함수를 구성합니다. 트리거되면 함수는 지난 주의 새로운 레이블이 지정된 데이터를 데이터 레이크에서 확인하는 스크립트를 실행합니다. 충분한 새 데이터가 있는 경우, 함수는 Amazon SageMaker 또는 Google AI Platform과 같은 전용 ML 플랫폼에서 모델 재훈련 작업을 시작합니다. 훈련 작업이 완료되면 다른 이벤트가 동일한 함수(또는 다른 함수)를 트리거하여 새 모델의 성능을 평가하고, 통과하면 프로덕션에 배포합니다. 이를 통해 스케줄을 관리하기 위해 지속적으로 실행되는 서버 없이 전체 재훈련 주기를 자동화할 수 있습니다.
온디맨드 비디오 및 오디오 스크립트 변환
한 미디어 회사는 플랫폼에 업로드된 모든 비디오 콘텐츠에 대한 스크립트를 생성해야 합니다. 그들은 스토리지 버킷에 새 비디오 파일이 업로드될 때 함수를 트리거하는 서버리스 워크플로우를 만듭니다. 이 함수는 클라우드 기반 AI 스크립트 변환 서비스(예: AWS Transcribe 또는 Google Speech-to-Text)를 호출하여 비디오 파일의 위치를 전달합니다. 스크립트 변환 서비스는 오디오를 비동기적으로 처리합니다. 변환이 완료되면 알림을 보내 두 번째 서버리스 함수를 트리거합니다. 이 두 번째 함수는 스크립트 텍스트를 검색하여 표준 자막 파일(예: .srt)로 포맷하고 원본 비디오와 동일한 버킷에 저장합니다. 이 전체 프로세스는 자동화되고 확장 가능하며 비용 효율적이며 새 콘텐츠가 추가될 때만 실행됩니다.