Databricks

Databricks 提供了一個開創性的資料智慧平台，旨在統一您所有的資料、分析和AI工作負載。該平台基於湖倉一體（lakehouse）架構，結合了資料倉儲的可靠性、治理和效能，以及資料湖的開放性、靈活性和機器學習支援。這種整合方法簡化了您的資料技術堆疊，降低了成本，並透過讓團隊在單一平台上無縫協作來加速創新。

該平台旨在賦能組織中的每一位成員，從資料工程師、分析師到資料科學家和業務使用者。它透過自然語言介面普及資料洞察，並提供一整套全面的工具來建構、部署和監控從傳統BI儀表板到複雜的生成式AI模型和AI代理的各種應用。借助 Databricks，您可以掌控自己的資料和AI未來，在私有資料上建構應用程式，而無需犧牲安全性或控制權。

如何使用Databricks

開始使用 Databricks 是一個為企業級部署設計的結構化流程：

1. 設定您的工作區： 首先註冊免費試用或在您首選的雲端供應商（AWS、Azure或GCP）上選擇付費方案。設定您的工作區並將其連接到您的雲端儲存。
2. 資料擷取與處理： 使用 Lakeflow 建立強大且自動化的資料管道。利用內建連接器從數百個資料來源為批次處理和串流工作負載擷取資料。Lakeflow 透過宣告式管道和端對端監控簡化了ETL（擷取、轉換、載入）過程。
3. 分析與視覺化資料： 利用 Databricks SQL（一個無伺服器資料倉儲）直接在您的湖倉資料上執行高效能SQL查詢。連接您喜歡的BI工具（如Tableau或Power BI）來建立互動式儀表板和報告。
4. 開發AI和機器學習模型： 使用支援Python、R、SQL和Scala的互動式筆記本。資料科學家可以探索資料、建構模型，並使用MLflow自動追蹤實驗。
5. 建構和部署生成式AI： 使用 Mosaic AI 套件來建構、微調和部署您自己的自訂生成式AI模型和AI代理。Mosaic AI 提供模型閘道、向量搜尋和基礎模型API等工具，以在維護資料隱私的同時加速GenAI開發。
6. 治理您的資產： 實施 Unity Catalog，為您的所有資料和AI資產（包括檔案、表格、模型和儀表板）建立單一、統一的治理模型。這確保了在整個資料資產中實現細粒度的存取控制、資料血緣和合規性。
7. 編排與自動化： 使用 Databricks Workflows 編排您所有的資料和AI任務，從ETL作業到模型再訓練管道，確保它們可靠高效地執行。

Databricks的核心功能

• 資料智慧平台： 一個統一的環境，適用於所有資料、分析和AI，消除了資料孤島和基礎設施的複雜性。
• 湖倉一體架構： 結合了資料湖和資料倉儲的優點，建立在Delta Lake等開放標準之上，以避免供應商鎖定。
• Mosaic AI： 一個用於生產級生成式AI的綜合工具包，包括模型服務、微調、向量搜尋、代理評估和基礎模型訓練。
• Databricks SQL： 一個無伺服器資料倉儲，為您的所有BI和SQL分析需求提供業界領先的性價比。
• Lakeflow： 一個智慧資料處理解決方案，用於大規模建構、部署和監控可靠的ETL、批次處理和串流管道。
• Unity Catalog： 一個統一的資料和AI治理解決方案，提供跨所有雲的集中式存取控制、稽核、血緣和資料發現。
• 開放資料共享： 一種安全開放的協定，用於與合作夥伴和客戶共享即時資料、模型和筆記本，無論他們使用何種平台。
• 多雲支援： 在亞馬遜網路服務（AWS）、微軟Azure和谷歌雲平台（GCP）上原生可用。

Databricks的使用案例

Databricks 受到行業領導者的信賴，用於解決他們最複雜的資料挑戰：

• 生成式AI和LLM： 捷藍航空（JetBlue）利用 Databricks 建構大型語言模型，以優化航班營運、減少延誤並提升客戶服務。
• 個人化客戶體驗： 康泰納仕（Condé Nast）使用該平台分析海量資料，使其能夠向其37個品牌下的數百萬消費者提供客製化的個人內容。
• 金融服務創新： Block（Square、Cash App的所有者）在 Databricks 上統一其資料，以建構由AI驅動的金融產品，為客戶提供更容易獲得經濟機會的途徑。
• 大規模ETL和資料工程： 企業自動化並擴展其資料處理管道，以處理PB級的即時和批次處理用例資料。
• 進階分析和商業智慧： 公司從傳統資料倉儲遷移到湖倉一體，以實現更快的洞察力並降低其BI工作負載的總擁有成本。

Databricks的優勢特點

採用 Databricks 的主要優勢包括：

• 簡化與成本降低： 在一個平台上統一資料和AI，無需使用多個分散的工具，從而簡化了架構並降低了基礎設施成本。
• 以資料為中心的AI開發： 透過整合資料管理和AI，Databricks 確保模型是基於高品質、受治理且私密的資料建構的，從而產生更好、更可靠的AI應用。
• 卓越的性價比： 湖倉一體架構為效能而優化，與傳統雲端資料倉儲相比，為SQL和BI工作負載提供高達12倍的性價比。
• 開放與面向未來： 建立在開源技術和開放格式之上，Databricks 為您提供了避免供應商鎖定並適應未來創新的靈活性。
• 企業級安全與治理： 提供全面、統一的治理模型，確保您的資料和AI資產安全合規。

定價和計劃

Databricks 提供靈活的定價模型，旨在隨您的需求擴展：

• 按使用付費： 您只需為您使用的運算資源付費，按秒計費。沒有前期成本。
• 免費試用： 提供14天免費試用，讓您探索完整平台。這可能包括Databricks服務的免費積分（運算和儲存的雲端供應商成本仍然適用）。
• 承諾使用折扣： 對於承諾達到一定使用水準的客戶，可提供大幅折扣。
• 按工作負載定價： 成本按工作負載類型細分，資料工程（起價$0.15/DBU）、資料倉儲（起價$0.22/DBU）、人工智慧（起價$0.07/DBU）等有不同的費率。
• Databricks 社區版： 提供免費、功能有限的版本，供個人學習Apache Spark和平台基礎知識。
• 支援計劃： 提供從商業級到關鍵任務級的多個技術支援層級，具有不同的服務水準協議（SLA）和功能。