Lightly

Lightly 是一个以数据为中心的 AI 平台，专门用于解决计算机视觉领域的数据瓶颈问题。它使机器学习团队能够从海量的、通常是未标记的数据集中管理、筛选和选择最具影响力的数据。通过采用主动学习和自监督学习方法，Lightly 帮助组织更高效、更经济地构建高性能视觉模型。该平台由一套强大的工具组成：用于云端数据筛选的 LightlyOne、用于无标签模型预训练的 LightlyTrain，以及用于设备端智能数据收集的 LightlyEdge。

如何使用 Lightly

Lightly 的工作流程旨在无缝集成到现有的 MLOps 管道中：

1. 连接您的数据源：首先将 Lightly 连接到您现有的数据存储，如 Amazon S3、Google Cloud Storage 或 Azure Blob Storage。该平台可以处理数百万张图像或视频帧。
2. 使用 LightlyOne 筛选数据：上传您的原始、未标记的视觉数据。LightlyOne 的算法会分析数据，以识别冗余、异常值和困难样本。然后，您可以应用各种选择策略（例如，核心集、多样性、不确定性）来自动筛选出一个小而多样且信息量丰富的数据子集。
3. 使用 LightlyTrain 预训练模型：将筛选出的数据子集与 LightlyTrain（一个开源框架）结合使用，以预训练您的视觉模型（例如 YOLO、RT-DETR、ViT）。它利用 DINOv2 等自监督学习方法，使模型能够从您的特定数据域中学习强大的表示，而无需任何手动标签。
4. 标注和微调：由于您只选择了最有价值的数据，您的标注工作量将大大减少。对这个小型的、经过筛选的数据集进行标注，并用它来微调您的预训练模型。与在随机抽样的数据上进行训练相比，此过程可以实现更快的收敛和更高的模型精度。
5. 使用 LightlyEdge 优化数据收集：为了持续改进，请在边缘设备（例如，摄像头、无人机、自动驾驶汽车）上部署 LightlyEdge SDK。它会实时预过滤数据，确保只有最有价值或新颖的数据被发送到云端进行存储和再训练，从而节省大量的带宽和成本。

Lightly 的核心功能

• 自动化数据筛选：从大型未标记数据集中智能选择最有价值的样本，将标注成本降低多达 90%，并最大限度地减少数据冗余。
• 自监督预训练 (LightlyTrain)：一个开源框架，可在无需标签的情况下，在自定义数据上预训练计算机视觉模型。它支持最先进的架构，如带有 DINOv2 的视觉变换器 (ViT)。
• 智能边缘数据收集 (LightlyEdge)：一个用于设备端数据过滤的 SDK，可实时捕获高价值数据，优化带宽和存储。
• 可扩展的主动学习：实施强大的主动学习工作流程，通过识别信息量最大的待标注数据来持续改进模型。
• 数据可视化和洞察：提供嵌入可视化功能，帮助用户了解数据集特征、发现偏差、找到异常值并调试数据质量问题。
• 无缝 MLOps 集成：旨在轻松集成到现有的机器学习管道、数据存储解决方案和标注工具中。
• 企业级安全：Lightly 已通过 ISO 27001 认证并符合 GDPR，确保为企业运营提供强大的数据隐私和安全性。

Lightly 的使用案例

Lightly 功能多样，旨在解决各行各业的数据挑战：

• 汽车行业：为自动驾驶汽车的感知系统筛选真实世界的驾驶数据，专注于事故或异常天气条件等罕见的边缘案例。
• 制造业：通过从生产线中选择最具代表性的缺陷和正常产品图像，改进视觉质量控制和缺陷检测。
• 零售业：通过在多样化和具有挑战性的产品图像上训练模型，优化库存管理和货架分析。
• 农业：通过选择信息量最丰富的航拍或地面图像，增强作物监测和产量预测模型。
- 医疗保健：通过从手术视频或扫描中选择高质量的医学影像数据来预训练诊断 AI 模型，从而推动医学 AI 的发展，确保准确性和可靠性。
• 安防与监控：通过将训练重点放在大量视频片段中的异常事件上，加强异常检测系统。

Lightly 的优势特点

采用 Lightly 可带来显著的竞争优势：

• 大幅降低成本：通过专注于小而有影响力的数据子集，大幅削减数据标注和存储成本。
• 加快上市时间：将模型开发周期加快多达 3 倍，并将部署效率提高一倍。
• 卓越的模型性能：通过在更多样化、冗余更少的数据上进行训练，提升模型的准确率、召回率和 F1 分数。
• 前所未有的可扩展性：能够处理数百万张图像和视频帧，是大型工业应用的理想选择。
• 有效的数据中心 AI：实现强大的以数据为中心的方法，这是在实际 AI 应用中释放性能增益的关键。

定价和计划

Lightly 采用免费增值模式。它免费提供 LightlyTrain 等强大的开源工具，让个人开发者和研究人员能够利用自监督学习。对于团队和企业，Lightly 通过定制的企业计划提供功能全面的平台、先进功能、可扩展性和专门支持。建议有兴趣的各方预约演示，以获取针对其特定需求的详细定价信息。