Databricks

Databricks 提供了一个开创性的数据智能平台，旨在统一您所有的数据、分析和AI工作负载。该平台基于湖仓一体（lakehouse）架构，结合了数据仓库的可靠性、治理和性能，以及数据湖的开放性、灵活性和机器学习支持。这种集成方法简化了您的数据技术栈，降低了成本，并通过让团队在单一平台上无缝协作来加速创新。

该平台旨在赋能组织中的每一位成员，从数据工程师、分析师到数据科学家和业务用户。它通过自然语言界面普及数据洞察，并提供一整套全面的工具来构建、部署和监控从传统BI仪表板到复杂的生成式AI模型和AI代理的各种应用。借助 Databricks，您可以掌控自己的数据和AI未来，在私有数据上构建应用程序，而无需牺牲安全性或控制权。

如何使用Databricks

开始使用 Databricks 是一个为企业级部署设计的结构化流程：

1. 设置您的工作区： 首先注册免费试用或在您首选的云提供商（AWS、Azure或GCP）上选择付费计划。配置您的工作区并将其连接到您的云存储。
2. 数据摄取与处理： 使用 Lakeflow 创建强大且自动化的数据管道。利用内置连接器从数百个数据源为批处理和流式工作负载摄取数据。Lakeflow 通过声明式管道和端到端监控简化了ETL（提取、转换、加载）过程。
3. 分析与可视化数据： 利用 Databricks SQL（一个无服务器数据仓库）直接在您的湖仓数据上运行高性能SQL查询。连接您喜欢的BI工具（如Tableau或Power BI）来创建交互式仪表板和报告。
4. 开发AI和机器学习模型： 使用支持Python、R、SQL和Scala的交互式笔记本。数据科学家可以探索数据、构建模型，并使用MLflow自动跟踪实验。
5. 构建和部署生成式AI： 使用 Mosaic AI 套件来构建、微调和部署您自己的自定义生成式AI模型和AI代理。Mosaic AI 提供模型网关、向量搜索和基础模型API等工具，以在维护数据隐私的同时加速GenAI开发。
6. 治理您的资产： 实施 Unity Catalog，为您的所有数据和AI资产（包括文件、表、模型和仪表板）建立单一、统一的治理模型。这确保了在整个数据资产中实现细粒度的访问控制、数据血缘和合规性。
7. 编排与自动化： 使用 Databricks Workflows 编排您所有的数据和AI任务，从ETL作业到模型再训练管道，确保它们可靠高效地运行。

Databricks的核心功能

• 数据智能平台： 一个统一的环境，适用于所有数据、分析和AI，消除了数据孤岛和基础设施的复杂性。
• 湖仓一体架构： 结合了数据湖和数据仓库的优点，建立在Delta Lake等开放标准之上，以避免供应商锁定。
• Mosaic AI： 一个用于生产级生成式AI的综合工具包，包括模型服务、微调、向量搜索、代理评估和基础模型训练。
• Databricks SQL： 一个无服务器数据仓库，为您的所有BI和SQL分析需求提供行业领先的性价比。
• Lakeflow： 一个智能数据处理解决方案，用于大规模构建、部署和监控可靠的ETL、批处理和流式管道。
• Unity Catalog： 一个统一的数据和AI治理解决方案，提供跨所有云的集中式访问控制、审计、血缘和数据发现。
• 开放数据共享： 一种安全开放的协议，用于与合作伙伴和客户共享实时数据、模型和笔记本，无论他们使用何种平台。
• 多云支持： 在亚马逊网络服务（AWS）、微软Azure和谷歌云平台（GCP）上原生可用。

Databricks的使用案例

Databricks 受到行业领导者的信赖，用于解决他们最复杂的数据挑战：

• 生成式AI和LLM： 捷蓝航空（JetBlue）利用 Databricks 构建大型语言模型，以优化航班运营、减少延误并提升客户服务。
• 个性化客户体验： 康泰纳仕（Condé Nast）使用该平台分析海量数据，使其能够向其37个品牌下的数百万消费者提供定制化的个性内容。
• 金融服务创新： Block（Square、Cash App的所有者）在 Databricks 上统一其数据，以构建由AI驱动的金融产品，为客户提供更容易获得经济机会的途径。
• 大规模ETL和数据工程： 企业自动化并扩展其数据处理管道，以处理PB级的实时和批处理用例数据。
• 高级分析和商业智能： 公司从传统数据仓库迁移到湖仓一体，以实现更快的洞察力并降低其BI工作负载的总拥有成本。

Databricks的优势特点

采用 Databricks 的主要优势包括：

• 简化与成本降低： 在一个平台上统一数据和AI，无需使用多个分散的工具，从而简化了架构并降低了基础设施成本。
• 以数据为中心的AI开发： 通过集成数据管理和AI，Databricks 确保模型是基于高质量、受治理且私密的数据构建的，从而产生更好、更可靠的AI应用。
• 卓越的性价比： 湖仓一体架构为性能而优化，与传统云数据仓库相比，为SQL和BI工作负载提供高达12倍的性价比。
• 开放与面向未来： 建立在开源技术和开放格式之上，Databricks 为您提供了避免供应商锁定并适应未来创新的灵活性。
• 企业级安全与治理： 提供全面、统一的治理模型，确保您的数据和AI资产安全合规。

定价和计划

Databricks 提供灵活的定价模型，旨在随您的需求扩展：

• 按使用付费： 您只需为您使用的计算资源付费，按秒计费。没有前期成本。
• 免费试用： 提供14天免费试用，让您探索完整平台。这可能包括Databricks服务的免费积分（计算和存储的云提供商成本仍然适用）。
• 承诺使用折扣： 对于承诺达到一定使用水平的客户，可提供大幅折扣。
• 按工作负载定价： 成本按工作负载类型细分，数据工程（起价$0.15/DBU）、数据仓库（起价$0.22/DBU）、人工智能（起价$0.07/DBU）等有不同的费率。
• Databricks 社区版： 提供免费、功能有限的版本，供个人学习Apache Spark和平台基础知识。
• 支持计划： 提供从商业级到关键任务级的多个技术支持层级，具有不同的服务水平协议（SLA）和功能。