Diffbot

Diffbot Extract 把网页读成可入库对象：不知道类型时走 Analyze，已知类型则直接打 Article、Product 等端点。计费上，抽取一页通常消耗 1 credit，经数据中心代理为 2 credits；Crawl 负责发现链接，蜘蛛本身不计 credit，但交给 Extract 处理的页面仍按抽取计费。真正的门槛不是“会不会调 API”，而是样本类型判断是否稳定到足以放大。

用 10–20 个真实 URL 做 Analyze 样本集

对每条 URL 调用 GET https://api.diffbot.com/v3/analyze?token=...&url=...。响应里先看 request，再看 objects。文章样本至少核对 type、title、正文 text/html、作者与日期；商品核对名称、价格与规格相关字段。若大量落在 other，或同站同类页 type 抖动，先改直接 Extract 端点，或用 mode / fallback 收紧路由，不要进入全站任务。

Crawl 只放大已经验证过的 apiUrl

Crawl 通常面向 Plus 及以上。创建时对 POST https://api.diffbot.com/v3/crawl?token=... 提交 application/x-www-form-urlencoded，至少包含唯一 name、seeds 与完整 apiUrl（例如 https://api.diffbot.com/v3/analyze，或 Product 端点并附加 fields）。用 maxHops、urlCrawlPattern、urlProcessPattern、maxToCrawl / maxToProcess 把首轮压到可控规模。已有完整 URL 列表时，优先评估 Bulk，而不是为了“看起来像爬虫”开全站。

盯 jobStatus，而不是只等结束通知

查询任务时关注 jobStatus.status：7 进行中，9 完成且无后续 repeat，6 暂停，10 种子链接失败，11 连续大量下载却几乎无成功处理而被自动暂停。需要重复轮次时用 roundStart=1，默认 onlyProcessIfNew=1 只处理新页。restart=1 会清空已处理数据，务必先确认再点。

抽查 downloadJson 并清理任务配额

status 到 9 后，从 downloadJson / downloadUrls 取结果，对照样本真值抽查标题、价格或日期，再决定是否入库。delete=1 不可恢复；账户侧 Crawl/Bulk 任务数有上限，下载验收后应清理完成任务，避免堆积占满配额。

1. 固定 token、样本表、通过/失败原因。
2. 样本通过后再写死 apiUrl、模式与代理策略。
3. 小 seeds + 低 maxToCrawl 跑通，确认 status 到 9 且 objectsFound 合理。
4. 抽查 downloadJson 与原页价格、标题、日期。
5. 再扩大范围或接入后续 Knowledge Graph，并清理完成任务。

文档与控制台：https://www.diffbot.com/ 与 https://docs.diffbot.com/