Databricks

Databricks는 모든 데이터, 분석 및 AI 워크로드를 통합하도록 설계된 획기적인 데이터 인텔리전스 플랫폼을 제공합니다. 레이크하우스 아키텍처를 기반으로 구축되어 데이터 웨어하우스의 신뢰성, 거버넌스 및 성능과 데이터 레이크의 개방성, 유연성 및 머신러닝 지원을 결합합니다. 이 통합된 접근 방식은 데이터 스택을 단순화하고 비용을 절감하며, 팀이 단일 플랫폼에서 원활하게 협업할 수 있도록 하여 혁신을 가속화합니다.

이 플랫폼은 데이터 엔지니어와 분석가부터 데이터 과학자 및 비즈니스 사용자에 이르기까지 조직의 모든 구성원에게 권한을 부여하도록 설계되었습니다. 자연어 인터페이스를 통해 데이터 인사이트를 민주화하고, 전통적인 BI 대시보드부터 정교한 생성형 AI 모델 및 AI 에이전트에 이르기까지 모든 것을 구축, 배포 및 모니터링할 수 있는 포괄적인 도구 모음을 제공합니다. Databricks를 사용하면 보안이나 제어를 손상시키지 않으면서 개인 데이터에 애플리케이션을 구축하여 데이터와 AI의 미래를 소유할 수 있습니다.

Databricks 사용 방법

Databricks 시작은 엔터프라이즈 규모 배포를 위해 설계된 구조화된 프로세스입니다.

1. 작업 공간 설정: 선호하는 클라우드 제공업체(AWS, Azure 또는 GCP)에서 무료 평가판에 가입하거나 유료 플랜을 선택하여 시작합니다. 작업 공간을 구성하고 클라우드 스토리지에 연결합니다.
2. 데이터 수집 및 처리: Lakeflow를 사용하여 강력하고 자동화된 데이터 파이프라인을 만듭니다. 내장된 커넥터를 사용하여 수백 개의 소스에서 배치 및 스트리밍 워크로드 모두에 대한 데이터를 수집합니다. Lakeflow는 선언적 파이프라인과 엔드투엔드 모니터링으로 ETL(추출, 변환, 로드)을 단순화합니다.
3. 데이터 분석 및 시각화: 서버리스 데이터 웨어하우스인 Databricks SQL을 활용하여 레이크하우스 데이터에 대해 직접 고성능 SQL 쿼리를 실행합니다. Tableau 또는 Power BI와 같은 즐겨찾는 BI 도구를 연결하여 대화형 대시보드 및 보고서를 만듭니다.
4. AI 및 머신러닝 모델 개발: Python, R, SQL 및 Scala를 지원하는 대화형 노트북을 활용합니다. 데이터 과학자는 데이터를 탐색하고 모델을 구축하며 MLflow로 실험을 자동으로 추적할 수 있습니다.
5. 생성형 AI 구축 및 배포: Mosaic AI 제품군을 사용하여 자체 맞춤형 생성형 AI 모델 및 AI 에이전트를 구축, 미세 조정 및 제공합니다. Mosaic AI는 모델 게이트웨이, 벡터 검색 및 파운데이션 모델 API와 같은 도구를 제공하여 데이터 프라이버시를 유지하면서 GenAI 개발을 가속화합니다.
6. 자산 관리: Unity Catalog를 구현하여 파일, 테이블, 모델 및 대시보드를 포함한 모든 데이터 및 AI 자산에 대한 단일 통합 거버넌스 모델을 구축합니다. 이를 통해 전체 자산에 걸쳐 세분화된 액세스 제어, 데이터 계보 및 규정 준수를 보장합니다.
7. 오케스트레이션 및 자동화: Databricks Workflows를 사용하여 ETL 작업부터 모델 재훈련 파이프라인에 이르기까지 모든 데이터 및 AI 작업을 오케스트레이션하여 안정적이고 효율적으로 실행되도록 합니다.

Databricks의 핵심 기능

• 데이터 인텔리전스 플랫폼: 모든 데이터, 분석 및 AI를 위한 단일 통합 환경으로 데이터 사일로와 인프라 복잡성을 제거합니다.
• 레이크하우스 아키텍처: 데이터 레이크와 데이터 웨어하우스의 장점을 결합하고, 벤더 종속을 방지하기 위해 Delta Lake와 같은 개방형 표준을 기반으로 구축되었습니다.
• Mosaic AI: 모델 서빙, 미세 조정, 벡터 검색, 에이전트 평가 및 파운데이션 모델 훈련을 포함한 프로덕션 품질의 생성형 AI를 위한 포괄적인 툴킷입니다.
• Databricks SQL: 모든 BI 및 SQL 분석 요구에 대해 업계 최고의 가격 대비 성능을 제공하는 서버리스 데이터 웨어하우스입니다.
• Lakeflow: 대규모로 신뢰할 수 있는 ETL, 배치 및 스트리밍 파이프라인을 구축, 배포 및 모니터링하기 위한 지능형 데이터 처리 솔루션입니다.
• Unity Catalog: 모든 클라우드에서 중앙 집중식 액세스 제어, 감사, 계보 및 데이터 검색을 제공하는 데이터 및 AI를 위한 통합 거버넌스 솔루션입니다.
• 개방형 데이터 공유: 플랫폼에 관계없이 파트너 및 고객과 실시간 데이터, 모델 및 노트북을 안전하게 공유하기 위한 개방형 프로토콜입니다.
• 멀티 클라우드 지원: Amazon Web Services(AWS), Microsoft Azure 및 Google Cloud Platform(GCP)에서 기본적으로 사용할 수 있습니다.

Databricks의 사용 사례

Databricks는 가장 복잡한 데이터 문제를 해결하기 위해 업계 리더들로부터 신뢰를 받고 있습니다.

• 생성형 AI 및 LLM: JetBlue는 Databricks를 활용하여 비행 운영을 최적화하고 지연을 줄이며 고객 서비스를 향상시키는 LLM을 구축합니다.
• 개인화된 고객 경험: Condé Nast는 이 플랫폼을 사용하여 방대한 양의 데이터를 분석하여 37개 브랜드에 걸쳐 수백만 명의 소비자에게 맞춤형 콘텐츠를 제공할 수 있습니다.
• 금융 서비스 혁신: Block(Square, Cash App 소유)은 Databricks에서 데이터를 통합하여 AI 기반 금융 상품을 구축하고 고객에게 경제적 기회에 더 쉽게 접근할 수 있도록 합니다.
• 대규모 ETL 및 데이터 엔지니어링: 기업은 데이터 처리 파이프라인을 자동화하고 확장하여 실시간 및 배치 사용 사례 모두에 대해 페타바이트 규모의 데이터를 처리합니다.
• 고급 분석 및 비즈니스 인텔리전스: 기업은 레거시 데이터 웨어하우스에서 레이크하우스로 전환하여 더 빠른 통찰력을 얻고 BI 워크로드의 총 소유 비용을 절감합니다.

Databricks의 장점

Databricks 채택의 주요 이점은 다음과 같습니다.

• 단순화 및 비용 절감: 하나의 플랫폼에서 데이터와 AI를 통합하면 여러 분산된 도구가 필요 없어져 아키텍처가 단순화되고 인프라 비용이 절감됩니다.
• 데이터 중심 AI 개발: 데이터 관리와 AI를 통합함으로써 Databricks는 고품질의 관리되고 비공개적인 데이터로 모델을 구축하여 더 좋고 신뢰할 수 있는 AI 애플리케이션을 만듭니다.
• 우수한 가격 대비 성능: 레이크하우스 아키텍처는 성능에 최적화되어 기존 클라우드 데이터 웨어하우스에 비해 SQL 및 BI 워크로드에 대해 최대 12배 더 나은 가격 대비 성능을 제공합니다.
• 개방적이고 미래 지향적: 오픈 소스 기술과 개방형 형식을 기반으로 구축된 Databricks는 벤더 종속을 피하고 미래 혁신에 적응할 수 있는 유연성을 제공합니다.
• 엔터프라이즈급 보안 및 거버넌스: 데이터 및 AI 자산이 안전하고 규정을 준수하도록 보장하는 포괄적이고 통합된 거버넌스 모델을 제공합니다.

가격 및 플랜

Databricks는 필요에 따라 확장할 수 있는 유연한 가격 모델을 제공합니다.

• 사용량 기반 결제: 사용한 컴퓨팅 리소스에 대해서만 초 단위로 요금이 청구됩니다. 선불 비용이 없습니다.
• 무료 평가판: 14일 무료 평가판이 제공되어 전체 플랫폼을 탐색할 수 있습니다. 여기에는 Databricks 서비스에 대한 무료 크레딧이 포함될 수 있습니다(컴퓨팅 및 스토리지에 대한 클라우드 제공업체 비용은 여전히 적용됨).
• 약정 사용 할인: 특정 사용 수준을 약정한 고객에게는 상당한 할인이 제공됩니다.
• 워크로드별 가격 책정: 비용은 워크로드 유형별로 분류되며, 데이터 엔지니어링(DBU당 $0.15부터), 데이터 웨어하우징(DBU당 $0.22부터), 인공 지능(DBU당 $0.07부터) 등에 대해 다른 요율이 적용됩니다.
• Databricks 커뮤니티 에디션: 개인이 Apache Spark 및 플랫폼의 기본 사항을 배울 수 있도록 무료로 제한된 기능의 버전이 제공됩니다.
• 지원 플랜: 비즈니스부터 미션 크리티컬까지 다양한 서비스 수준 계약(SLA) 및 기능을 갖춘 여러 계층의 기술 지원이 제공됩니다.