dagworks

Dagworks는 개발자와 데이터 과학자가 신뢰할 수 있는 AI를 구축할 수 있도록 지원하는 회사입니다. Dagworks의 핵심은 Hamilton과 Burr라는 두 가지 강력한 오픈 소스 Python 프레임워크를 제공하는 것입니다. 이 도구들은 데이터, ML, LLM 및 에이전트 워크플로우의 개발 프로세스를 표준화하여 생산성, 유지보수성 및 협업을 크게 향상시키도록 설계되었습니다.

플랫폼의 미션은 관찰 가능성과 자기 성찰을 AI 시스템의 일급 시민으로 만드는 것입니다. 복잡한 파이프라인과 애플리케이션을 위한 Python 코드를 작성하는 표준화된 방법을 제공함으로써 Dagworks는 시스템을 더 쉽게 디버깅, 모니터링 및 확장할 수 있도록 보장합니다. 이 접근 방식은 AI 프로젝트의 총 소유 비용을 절감하고 가치 창출 시간을 단축합니다.

dagworks 사용 방법

Dagworks 생태계를 사용하려면 핵심 구성 요소인 Hamilton과 Burr를 활용해야 하며, 이들은 독립적으로 또는 함께 사용할 수 있습니다.

1. 데이터 및 ML 파이프라인용 (Hamilton):

• 설치: Python 환경에 오픈 소스 Hamilton 라이브러리를 설치하는 것으로 시작합니다: pip install sf-hamilton.
• 함수 정의: 데이터 파이프라인 로직을 작고 순수한 Python 함수로 분해합니다. 각 함수는 단일 변환 또는 단계(방향성 비순환 그래프 - DAG의 노드)를 나타냅니다.
• 파이프라인 실행: Hamilton 드라이버를 사용하여 필요한 최종 출력을 지정하여 파이프라인을 실행합니다. Hamilton은 자동으로 실행 경로(DAG)를 결정하고, 함수 간의 데이터 흐름을 관리하며, 결과를 계산합니다.
• 관찰 가능성 통합: 단 한 줄의 코드로 호스팅된 Hamilton UI를 통합하여 전체 데이터 계보, 파이프라인의 시각적 표현, 데이터 카탈로그 및 성능 메트릭을 얻을 수 있습니다.

2. RAG 및 에이전트 애플리케이션용 (Burr):

• 설치: Burr 라이브러리를 설치합니다: pip install burr.
• 상태 및 작업 정의: 애플리케이션을 상태 머신으로 구조화합니다. 애플리케이션을 다른 상태 간에 전환하는 작업(Python 함수)을 정의합니다.
• 애플리케이션 실행: Burr 런타임을 사용하여 상태 머신을 실행합니다. Burr는 상태를 관리하고, 실행 기록을 추적하며, 쉬운 디버깅을 가능하게 합니다.
• Burr Cloud 활용: 프로덕션 환경의 경우, Burr Cloud(또는 자체 호스팅)를 사용하여 호스팅된 실행, 상태 지속성 및 고급 관찰 가능성을 활용하여 복잡한 에이전트 상호 작용을 실시간으로 추적하고 디버깅할 수 있습니다.

dagworks의 핵심 기능

• Hamilton (파이프라인용): 파이프라인을 함수들의 DAG로 표현하는 경량 Python 프레임워크입니다. 모듈식, 재사용 가능, 단위 테스트 가능한 코드를 장려합니다. 자동 데이터 계보, 출처 추적 및 버전 관리를 제공합니다.
• Burr (에이전트용): 상태 기반의 에이전트 애플리케이션을 구축하기 위한 프레임워크입니다. 상태 관리를 표준화하여 복잡한 RAG 및 다중 에이전트 시스템을 더 쉽게 구축, 디버깅 및 관찰할 수 있도록 합니다.
• 통합된 관찰 가능성: 두 프레임워크 모두 한 줄로 관찰 가능성 도구와 통합되도록 설계되었습니다. 호스팅된 UI는 코드 실행, 데이터 흐름 및 애플리케이션 상태에 대한 깊은 통찰력을 제공합니다.
• 데이터 카탈로그 및 계보: Hamilton UI는 코드에서 자동으로 데이터 카탈로그를 생성하고 데이터 종속성을 이해하기 위한 대화형 계보 그래프를 제공합니다.
• 유연성 및 통합: 이 도구들은 경량이며 MLFlow, Sentry, Docker, Pandera와 같은 기존 MLOps 스택과 원활하게 통합되도록 설계되었습니다.
• 오픈 소스 코어: 기본 프레임워크인 Hamilton과 Burr는 완전히 오픈 소스이며, 커뮤니티 협업과 투명성을 촉진합니다.

dagworks의 사용 사례

Dagworks는 다재다능하며 핀테크에서 컨설팅에 이르기까지 다양한 분야의 기업들로부터 신뢰를 받고 있습니다. 주목할 만한 예는 위험 인수 심사를 전문으로 하는 핀테크 회사인 Kora Money입니다.

Kora는 규정 준수를 위한 데이터 계보와 MLOps 프로세스 표준화에 어려움을 겪었습니다. 그들은 인수 심사 플랫폼을 구조화하기 위해 Hamilton과 Burr를 모두 채택했습니다. Hamilton은 데이터 변환 및 피처 엔지니어링 파이프라인을 정의하고 관리 가능한 노드로 분해하는 데 사용되었습니다. Burr는 더 높은 수준의 워크플로우를 조율하여 여러 Hamilton 파이프라인을 특정 비즈니스 로직과 연결하는 데 사용되었습니다. 이 DAG 기반 접근 방식은 데이터 계보를 단순화하고 워크플로우 투명성을 향상시켰습니다. 그 결과, Kora는 단 두 달 만에 레거시 파이프라인을 성공적으로 마이그레이션하여 생산성을 크게 향상시키고 규정 준수 확인을 간소화하며 팀 협업을 개선했습니다.

dagworks의 장점

Dagworks의 주요 장점은 신뢰할 수 있는 AI를 만드는 데 중점을 둔다는 것입니다. 이는 다음을 통해 달성됩니다:

• 생산성 향상: 팀은 파이프라인과 애플리케이션을 최대 4배 빠르게 반복할 수 있습니다.
• 총 소유 비용 절감: 표준화되고 모듈화된 코드는 유지보수, 테스트 및 디버깅이 더 쉽습니다.
• 협업 강화: 공통 프레임워크는 팀 전체에서 코드를 이해하고 재사용할 수 있도록 보장합니다.
• 내장된 거버넌스: 자동 계보 및 관찰 가능성은 규정 준수 및 감사를 단순화합니다.
• 미래 보장: 프레임워크의 구성 가능한 특성은 더 복잡하고 견고한 AI 시스템을 위한 기반을 마련합니다.

가격 및 플랜

Dagworks는 프리미엄(freemium) 모델로 운영됩니다:

• 오픈 소스: 핵심 Hamilton 및 Burr Python 프레임워크는 무료로 사용할 수 있습니다.
• 호스팅된 Hamilton UI: Hamilton 파이프라인에 대한 고급 관찰 가능성, 카탈로그 및 계보 시각화를 제공하는 유료 서비스입니다. 팀 플랜 수준에서 14일 무료 평가판을 제공합니다.
• Burr Cloud: 에이전트 애플리케이션을 위한 호스팅된 Burr 서비스의 가격은 '곧 출시 예정'으로 발표되었습니다.

이 모델은 개인 개발자와 소규모 팀이 무료로 시작할 수 있도록 하며, 고급 기능, 지원 및 호스팅이 필요한 기업을 위한 유료 옵션을 제공합니다.