Diffbot

Diffbot 的核心不是把网页简单转换成正文，而是识别页面属于文章、产品、讨论等哪种对象，再返回可进入数据库的数据结构。它更适合页面来源多、需要统一实体模型或进一步使用 Knowledge Graph 的企业数据任务。

Analyze 是未知页面的入口

Analyze API 会判断提交 URL 的页面类型，并在支持时调用相应 Extract API。官方列出的类型包括文章、产品、讨论、图片和视频等；不受支持的页面会返回 other。这让接收用户提交链接或混合来源的系统可以先分类，再决定是否提取。

返回的是对象，不只是文本

结构化对象适合数据库、搜索与分析，但仍需核对字段覆盖、页面类型和来源 URL。Analyze 识别成功也不代表每个业务字段都存在。

建立样本集再决定数据模型

1. 准备不同站点、不同页面类型和失败页面。
2. 记录 Analyze 判断的类型与返回对象。
3. 核对关键字段、缺失值与证据页面。
4. 再决定是否扩展 Crawlbot 或购买更广的数据路线。

适合与不适合

Diffbot 适合把开放 Web 当作长期结构化数据源的团队。若目标只是给 RAG 临时读取几篇公开文章，它通常比轻量 Reader 更重；若需要真实点击和登录会话，则应比较浏览器自动化平台。

可比较 Diffbot 与面向 RAG 的轻量抓取工具，先确认需要的是全文、固定字段、页面识别还是实体关系。

官方核验：https://docs.diffbot.com/reference/extract-analyze（2026-08-13）。