ScrapingBee

ScrapingBee 是托管网页抓取 API，代管代理轮换和无头浏览器。正确接入应从只含目标 URL 的最小请求开始，只有页面依赖 JavaScript 或交互时才增加渲染、等待和场景参数，再用 extract_rules 返回结构化字段。HTTP 200 只表示请求成功，不代表拿到了完整、正确的数据。

从最小请求逐级升级

调用主抓取 API 时传入 API Key 与目标 url，先保存状态码、响应体和消耗信息。静态 HTML 已含目标字段时无需开启浏览器渲染；内容缺失再使用 render_js。加载较慢时优先等待明确 CSS/XPath 元素，只有无法确定元素时才考虑固定 wait 或 wait_browser 的 load、networkidle0、networkidle2 等条件。

交互页面用 JS Scenario 留下执行报告

js_scenario 可以执行 click、wait_for、wait_for_and_click、fill、scroll 或自定义 evaluate 等指令。场景是 JSON，放入 GET 请求时需要正确序列化。调试阶段同时启用 json_response，从 js_scenario_report 查看哪一步失败；严格模式下任一指令错误会中止整个场景，关闭严格模式前要明确能接受部分执行结果。

用 extract_rules 定义输出契约

extract_rules 支持 CSS 或 XPath 选择器，可输出文本、HTML、属性、列表和表格结构。例如标题可映射到 h1，列表项则定义父选择器、type: list 和子字段。提交前在浏览器控制台用 document.querySelector 抽查选择器；返回后验证必填字段、类型、数量和样本，而不是把任意 JSON 当成正确结果。

把一次成功请求变成生产记录

1. 保存目标 URL、参数、选择器版本和运行时间。
2. 记录状态码、响应大小、API 消耗与重试次数。
3. 对结构化结果执行必填字段、类型、唯一键和数量校验。
4. 抽查原页面样本，确认价格、日期、币种和链接语义。
5. 为 4xx、5xx、超时、空结果和页面结构变化设置不同处理。

JavaScript 渲染、高级代理、AI 提取等能力可能消耗不同额度，批量运行前应查看当前定价和响应头。ScrapingBee 负责抓取基础设施，不替代目标站授权、robots、个人信息处理和数据许可判断；不要用它绕过登录、验证码或明确访问限制。入口：https://www.scrapingbee.com/