Diffbot

Diffbot 提供一套由人工智能驱动的工具，旨在理解和结构化公共网络的内容，有效地将其转变为世界上最大、最全面的数据库。其核心是 Diffbot 知识图谱，一个庞大的、相互关联的数据存储库，包含有关组织、人物、文章、产品等信息。与需要为每个网站手动设置规则的传统网络爬虫不同，Diffbot 使用计算机视觉和自然语言处理技术，像人类一样自动解读网页，无需针对特定网站进行配置即可提取结构化数据。

这项技术使开发人员和企业能够摆脱网络数据的嘈杂和混乱，而是像访问一个干净、结构化的数据库一样访问它。无论您需要监控新闻、丰富客户资料、进行市场研究，还是为机器学习模型提供动力，Diffbot 都能提供构建智能应用所需的干净、可靠的数据源。

如何使用 Diffbot

对于开发人员和数据团队来说，开始使用 Diffbot 的过程非常简单。主要通过其强大的 API 进行交互。

1. 注册账户：首先创建一个账户。Diffbot 提供一个免费计划，包含 10,000 个积分和完整的 API 访问权限，让您无需信用卡即可测试平台的功能。
2. 获取您的 API 令牌：注册后，您将从仪表板收到一个 API 令牌。此令牌用于验证您对 Diffbot API 的所有请求。
3. 选择合适的 API：Diffbot 为不同的任务提供了几种不同的 API：
• Extract API：将其指向任何 URL（如文章、产品页面或论坛讨论），它将自动返回结构化的 JSON 数据。无需任何规则。
• Crawl API：提供一个起始 URL，Diffbot 将系统地爬取整个网站，使用 Extract API 将每个相关页面转换为结构化数据。这非常适合从特定网站构建数据库。
• Knowledge Graph Search API：查询预先构建的知识图谱，以查找超过 2.46 亿个组织、16 亿篇文章等信息。您可以搜索实体并构建精确的数据源。
• Knowledge Graph Enhance API：提供您自己的数据（例如，公司名称），Diffbot 将使用知识图谱中的全面数据对其进行丰富，例如收入、员工数量、社交资料和最新新闻。
• Natural Language API：提交原始文本以推断实体、它们之间的关系，并进行情感分析。
4. 集成与构建：使用 API 响应（JSON 格式）来驱动您的应用程序、填充您的数据库或为您的分析仪表板提供数据。对于实时需求，您可以设置 webhook 以获得即时通知，例如提及特定公司的新文章。

Diffbot 的核心功能

• 知识图谱：一个庞大的、预先爬取并持续更新的网络图谱，包含关于组织、人物、产品、文章及其关系的结构化信息。
• 自动提取：由人工智能驱动的技术，可自动识别并从各种页面类型（文章、产品、讨论等）中提取关键信息，无需手动设置或规则。
• Crawlbot：一个智能网络爬虫，可以将整个网站转变为结构化数据库，自动识别并从相关页面提取内容。
• 自然语言处理 (NLP)：先进的 NLP 功能，可理解超过 20 种语言的文本，执行实体识别（区分“苹果”公司和“苹果”水果），并进行主题级的情感分析。
• 数据丰富 (Enhance API)：能够获取最少量的信息（如公司名称或电子邮件），并用知识图谱中的数十个数据点对其进行丰富。
• 实时监控：通过精确的实体匹配和情感分析，为新闻和品牌提及构建定制的、无噪音的源，并提供实时的电子邮件或 webhook 警报。

Diffbot 的使用案例

Diffbot 的结构化数据在众多行业和职能中都极具价值：

• 市场情报：通过利用全球新闻、公司文件和产品数据，跟踪竞争对手、监控行业趋势并分析市场动向。
• 风险与合规：对公司和个人进行尽职调查，监控供应链中的风险信号，并领先于监管变化。
• 销售与营销：丰富 CRM 中的潜在客户数据，根据特定标准（例如，某个行业中刚刚获得融资的公司）识别新客户，并进行个性化推广。
• 新闻与媒体监控：创建高度具体、实时的新闻源，通过精确的实体匹配和情感分析跟踪品牌、人物或主题的提及。
• 招聘：建立潜在候选人数据库，识别人才，并用来自网络各处的数据丰富专业档案。
• 机器学习：将知识图谱用作高质量、结构化的训练数据源，用于各种人工智能和机器学习模型。

Diffbot 的优势特点

Diffbot 的主要优势在于其能够将整个网络视为一个可查询的单一数据库。它抽象化了网络爬取和数据清洗的复杂性。主要好处包括准确性、规模和效率。用户无需构建和维护脆弱的、针对特定网站的爬虫，而是可以依赖一个单一、强大的 API。实体感知的 NLP 确保了数据的质量和相关性，而预构建的知识图谱则提供了对庞大数据集的即时访问，而这些数据集内部构建需要数年时间。

定价和计划

Diffbot 提供分层定价结构，以适应从个人项目到大型企业的不同使用水平。

• 免费计划：每月 0 美元。包括 10,000 个积分，完全的 API 访问权限，并且永久免费。非常适合测试和小型项目。
• 创业计划：每月 299 美元。包括 250,000 个积分，专为需要即插即用式抓取和知识图谱访问的小型团队设计。
• 增强计划：每月 899 美元。包括 1,000,000 个积分，可访问 Crawl 产品，并提供更高的 API 调用率。适合数据需求更大的成长型企业。
• 企业计划：自定义定价。为大规模数据操作提供定制计划，包括自定义积分分配、最高的 API 调用率、高级 SLA 支持和托管解决方案。

积分的消耗取决于 API 调用的类型和复杂性。其网站上提供了详细的分类说明。