Firecrawl 批量抓取
在一个异步任务中抓取多个 URL——提交一组 URL,然后轮询该任务的状态和结果。
- 提交 ——
POST /apis/v1/firecrawl/batch-scrape,带上批量请求体和必填的Idempotency-Key请求头。成功后返回202 Accepted、指向任务资源的Location响应头(/apis/v1/firecrawl/batch-scrape/{jobId}),以及一个status初始为queued的任务对象。 - 轮询 ——
GET /apis/v1/firecrawl/batch-scrape/{jobId},重复直到status进入终态:completed、failed或cancelled。当为completed时,抓取到的文档位于output中。 - 列表 ——
GET /apis/v1/firecrawl/batch-scrape(可选limit、status、cursor查询参数)。 - 取消 ——
POST /apis/v1/firecrawl/batch-scrape/{jobId}/cancel。
post_firecrawl-crawl。授权
Bearer authentication header of the form Bearer <token>, where <token> is your auth token.
请求头
使提交具备幂等性的唯一 key(1 到 191 字符)。使用相同 key 重复提交会返回原任务。
191请求体
1 到 1000 个唯一的 HTTPS URL 用于抓取。不支持 PDF URL。
1 - 1000 elements并发抓取数的上限(1 到 20)。
1 <= x <= 20只返回每个页面的正文内容。
要保留的 HTML 标签/选择器。
50128要丢弃的 HTML 标签/选择器。
50128可接受的最大缓存时长,单位为毫秒。
0 <= x <= 31536000000重新抓取页面前所需的最小缓存时长,单位为毫秒。
0 <= x <= 31536000000单页超时时间,单位为毫秒。
1000 <= x <= 300000响应
批量抓取任务已受理。Location 响应头指向该任务资源;请轮询直到终态。
一个异步集成任务。由提交调用(HTTP 202)以及轮询/详情调用返回。请按 id 轮询该任务,直到 status 进入终态(completed、failed 或 cancelled)。
唯一的 AIsa 任务标识符。可用它轮询、列出或取消该任务。
"iaj_01HZY8Q2M4K7N9V3T6W1X0B2C3"
始终为 "integration_async_job"。
"integration_async_job"
该任务所属的提交 endpoint。
"/apis/v1/firecrawl/crawl"
面向用户的生命周期状态。queued 和 running 为非终态;completed、failed 和 cancelled 为终态。
queued, running, completed, failed, cancelled 任务被受理的时间。
任务进入终态的时间。任务仍处于排队或运行中时为 null。
任务结果载荷。仅在 status 为 completed 后出现。对 crawl 而言是抓取到的页面数组;对 batch scrape 而言是抓取到的文档数组。
当结果已超过留存窗口、不再可获取时为 true。
当 status 为 failed 时出现,否则为 null。