爬取 | Firecrawl

爬取会将一个 URL 提交给 Firecrawl，并递归发现和抓取所有可到达的子页面。它会自动处理 sitemap、JavaScript 渲染和速率限制，并为每个页面返回干净的 Markdown 或结构化数据。

通过 sitemap 和递归链接遍历发现页面
支持路径过滤、深度限制以及对子域名/外部链接的控制
通过轮询、WebSocket 或 webhook 返回结果

爬取所抓取的每个页面都会经过同样的抓取流水线，因此抓取单个页面能做的事情，爬取都能对它到达的每个页面做到。功能列出了具体有哪些功能、每项功能在何处运行，以及是否需要 API 密钥。

在 Playground 中试用

在交互式 Playground 中测试爬取功能——无需代码。

安装

# 使用 pip 安装 firecrawl-py

from firecrawl import Firecrawl

firecrawl = Firecrawl(
  # 无需 API 密钥即可开始使用 — 添加一个以获得更高的限流额度：
  # api_key="fc-YOUR-API-KEY",
)

// 使用 npm 安装 firecrawl

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({
  // 无需 API 密钥即可开始使用 — 添加一个以获得更高的限流额度：
  // apiKey: "fc-YOUR-API-KEY",
});

# 使用 npm 全局安装
npm install -g firecrawl

# 身份验证(一次性设置)
firecrawl login

基本用法

调用 POST /v2/crawl 并提供起始 URL，即可提交爬取任务。该端点会返回一个任务 ID，你可以用它轮询结果。

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-你的API密钥")

docs = firecrawl.crawl(url="https://docs.firecrawl.dev", limit=10)
print(docs)

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: "fc-你的API密钥" });

const docs = await firecrawl.crawl('https://docs.firecrawl.dev', { limit: 10 });
console.log(docs);

curl -s -X POST "https://api.firecrawl.dev/v2/crawl" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "limit": 10
  }'

# 启动爬取任务(返回任务 ID)
firecrawl crawl https://firecrawl.dev

# 等待完成并显示进度
firecrawl crawl https://firecrawl.dev --wait --progress --limit 100

每爬取 1 个页面会消耗 1 个额度。爬取的默认 limit 为 10,000 个页面。在开始之前，爬取端点会检查你的剩余额度是否足以覆盖 limit；如果不足，则会返回 402 (需要付款) 错误。你可以设置更低的 limit 来匹配计划的爬取规模 (例如将 limit 设为 100) ，以避免这种情况。某些选项会额外消耗额度：JSON 模式每个页面额外消耗 4 个额度，PDF 解析每个 PDF 页面额外消耗 1 个额度。

Scrape 选项

Scrape 端点的所有选项都可通过 scrapeOptions (JS) / scrape_options (Python) 在 crawl 中使用。它们将应用于爬虫抓取的每个页面，包括 formats、代理、缓存、actions、location 和 tags。

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key='fc-YOUR_API_KEY')

# 使用 scrape 选项进行爬取
response = firecrawl.crawl('https://example.com',
    limit=100,
    scrape_options={
        'formats': [
            'markdown',
            { 'type': 'json', 'schema': { 'type': 'object', 'properties': { 'title': { 'type': 'string' } } } }
        ],
        'proxy': 'auto',
        'max_age': 600000,
        'only_main_content': True
    }
)

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: 'fc-YOUR_API_KEY' });

// 使用 scrape 选项进行爬取
const crawlResponse = await firecrawl.crawl('https://example.com', {
  limit: 100,
  scrapeOptions: {
    formats: [
      'markdown',
      {
        type: 'json',
        schema: { type: 'object', properties: { title: { type: 'string' } } },
      },
    ],
    proxy: 'auto',
    maxAge: 600000,
    onlyMainContent: true,
  },
});

检查爬取状态

使用任务 ID 轮询爬取状态并获取结果。

status = firecrawl.get_crawl_status("<crawl-id>")
print(status)

const status = await firecrawl.getCrawlStatus("<crawl-id>");
console.log(status);

# 启动爬取后，使用 jobId 轮询状态
curl -s -X GET "https://api.firecrawl.dev/v2/crawl/<jobId>" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY"

# 使用作业 ID 检查爬取状态
firecrawl crawl <job-id>

任务结果在完成后 24 小时内可通过 API 获取。此后，你仍可以在活动日志中查看你的爬取历史和结果。

爬取结果中的 data 数组里包含的是 Firecrawl 成功抓取的页面，即使目标站点返回了 404 等 HTTP 错误。metadata.statusCode 字段显示的是目标站点返回的 HTTP 状态码。若要获取 Firecrawl 本身未能成功抓取的页面 (例如网络错误、超时或被 robots.txt 拦截) ，请使用专门的 Get Crawl Errors 端点 (GET /crawl/{id}/errors) 。

响应处理

响应会根据爬取任务的状态而有所不同。对于未完成的任务或超过 10MB 的大型响应，会返回一个 next URL 参数。你需要请求该 URL 以获取后续的每 10MB 数据。如果没有 next 参数，则表示爬取数据已结束。

仅在直接调用 API 时，skip 和 next 参数才生效。如果你使用 SDK，我们会代为处理，并一次性返回全部结果。

{
  "status": "抓取中",
  "total": 36,
  "completed": 10,
  "creditsUsed": 10,
  "expiresAt": "2024-00-00T00:00:00.000Z",
  "next": "https://api.firecrawl.dev/v2/crawl/123-456-789?skip=10",
  "data": [
    {
      "markdown": "[Firecrawl 文档首页![浅色标志](https://mintlify.s3-us-west-1.amazonaws.com/firecrawl/logo/light.svg)!...",
      "html": "<!DOCTYPE html><html lang=\"en\" class=\"js-focus-visible lg:[--scroll-mt:9.5rem]\" data-js-focus-visible=\"\">...",
      "metadata": {
        "title": "使用 Groq Llama 3 构建“网站聊天” | Firecrawl",
        "language": "en",
        "sourceURL": "https://docs.firecrawl.dev/learn/rag-llama3",
        "description": "了解如何使用 Firecrawl、Groq Llama 3 和 Langchain 构建一个“网站聊天”机器人。",
        "ogLocaleAlternate": [],
        "statusCode": 200
      }
    },
    ...
  ]
}

{
  "status": "completed",
  "total": 36,
  "completed": 36,
  "creditsUsed": 36,
  "expiresAt": "2024-00-00T00:00:00.000Z",
  "next": "https://api.firecrawl.dev/v2/crawl/123-456-789?skip=26",
  "data": [
    {
      "markdown": "[Firecrawl 文档首页![浅色 logo](https://mintlify.s3-us-west-1.amazonaws.com/firecrawl/logo/light.svg)!...",
      "html": "<!DOCTYPE html><html lang=\"en\" class=\"js-focus-visible lg:[--scroll-mt:9.5rem]\" data-js-focus-visible=\"\">...",
      "metadata": {
        "title": "使用 Groq Llama 3 构建“网站聊天” | Firecrawl",
        "language": "en",
        "sourceURL": "https://docs.firecrawl.dev/learn/rag-llama3",
        "description": "了解如何使用 Firecrawl、Groq Llama 3 和 LangChain 构建一个“网站聊天”机器人。",
        "ogLocaleAlternate": [],
        "statusCode": 200
      }
    },
    ...
  ]
}

SDK 方法

通过 SDK 使用 crawl 有两种方式。

抓取并等待

crawl 方法会等待爬取完成并返回完整响应。自动处理分页。适用于大多数场景，推荐使用。

from firecrawl import Firecrawl
from firecrawl.types import ScrapeOptions

firecrawl = Firecrawl(api_key="fc-YOUR_API_KEY")

# 爬取网站：
crawl_status = firecrawl.crawl(
  'https://firecrawl.dev', 
  limit=100, 
  scrape_options=ScrapeOptions(formats=['markdown', 'html']),
  poll_interval=30
)
print(crawl_status)

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({apiKey: "fc-YOUR_API_KEY"});

const crawlResponse = await firecrawl.crawl('https://firecrawl.dev', {
  limit: 100,
  scrapeOptions: {
    formats: ['markdown', 'html'],
  }
})

console.log(crawlResponse)

响应包括爬取状态及所有抓取到的数据：

success=True
status='completed'
completed=100
total=100
creditsUsed=100
expiresAt=datetime.datetime(2025, 4, 23, 19, 21, 17, tzinfo=TzInfo(UTC))
next=None
data=[
  Document(
    markdown='[第 7 天 - 发布周 III · 集成日（4 月 14 日至 20 日）](...',
    metadata={
      'title': '15 个 Python 网页爬取项目：从入门到进阶',
      ...
      'scrapeId': '97dcf796-c09b-43c9-b4f7-868a7a5af722',
      'sourceURL': 'https://www.firecrawl.dev/blog/python-web-scraping-projects',
      'url': 'https://www.firecrawl.dev/blog/python-web-scraping-projects',
      'statusCode': 200
    }
  ),
  ...
]

{
  success: true,
  status: "completed",
  completed: 100,
  total: 100,
  creditsUsed: 100,
  expiresAt: "2025-04-23T19:28:45.000Z",
  data: [
    {
      markdown: "[Day 7 - Launch Week III.Integrations DayApril ...",
      html: `<!DOCTYPE html><html lang="en" class="light" style="color...`,
      metadata: [Object],
    },
    ...
  ]
}

启动后稍后检查

startCrawl / start_crawl 方法会立即返回一个爬取 ID。随后你需要手动轮询状态。这适合长时间运行的爬取任务或自定义轮询逻辑。

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")

job = firecrawl.start_crawl(url="https://docs.firecrawl.dev", limit=10)
print(job)

# 检查爬取任务的状态
status = firecrawl.get_crawl_status(job.id)
print(status)

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: "fc-YOUR-API-KEY" });

const { id } = await firecrawl.startCrawl('https://docs.firecrawl.dev', { limit: 10 });
console.log(id);

// 检查抓取进度
const status = await firecrawl.getCrawlStatus(id);
console.log(status);

curl -s -X POST "https://api.firecrawl.dev/v2/crawl" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "limit": 10
  }'

# 启动爬取(异步,立即返回作业 ID)
firecrawl crawl https://firecrawl.dev --limit 100

# 稍后检查状态
firecrawl crawl <job-id>

初始响应会返回任务 ID：

{
  "success": true,
  "id": "123-456-789",
  "url": "https://api.firecrawl.dev/v2/crawl/123-456-789"
}

使用 WebSocket 获取实时结果

watcher 方法会在页面爬取过程中提供实时更新。启动爬取后，订阅事件即可进行即时数据处理。

import asyncio
from firecrawl import AsyncFirecrawl

async def main():
    firecrawl = AsyncFirecrawl(api_key="fc-YOUR-API-KEY")

    # 首先启动爬取
    started = await firecrawl.start_crawl("https://firecrawl.dev", limit=5)

    # 监听更新（快照）直到终止状态
    async for snapshot in firecrawl.watcher(started.id, kind="crawl", poll_interval=2, timeout=120):
        if snapshot.status == "completed":
            print("完成", snapshot.status)
            for doc in snapshot.data:
                print("文档", doc.metadata.source_url if doc.metadata else None)
        elif snapshot.status == "failed":
            print("错误", snapshot.status)
        else:
            print("状态", snapshot.status, snapshot.completed, "/", snapshot.total)

asyncio.run(main())

import { Firecrawl } from 'firecrawl';

const firecrawl = new Firecrawl({ apiKey: 'fc-YOUR-API-KEY' });

// 启动一次爬取并开始监控
const { id } = await firecrawl.startCrawl('https://mendable.ai', {
  excludePaths: ['blog/*'],
  limit: 5,
});

const watcher = firecrawl.watcher(id, { kind: 'crawl', pollInterval: 2, timeout: 120 });

watcher.on('document', (doc) => {
  console.log('DOC', doc);
});

watcher.on('error', (err) => {
  console.error('ERR', err?.error || err);
});

watcher.on('done', (state) => {
  console.log('DONE', state.status);
});

// 开始监控（优先使用 WS，回退到 HTTP）
await watcher.start();

Webhooks

你可以配置 webhook，在爬取过程中实时接收通知，从而在页面被抓取后立即进行处理，而无需等待整个爬取任务完成。

cURL

curl -X POST https://api.firecrawl.dev/v2/crawl \
    -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer YOUR_API_KEY' \
    -d '{
      "url": "https://docs.firecrawl.dev",
      "limit": 100,
      "webhook": {
        "url": "https://your-domain.com/webhook",
        "metadata": {
          "any_key": "any_value"
        },
        "events": ["started", "page", "completed"]
      }
    }'

事件类型

事件	描述
`crawl.started`	在爬取开始时触发
`crawl.page`	每个页面成功抓取后触发
`crawl.completed`	在爬取结束时触发
`crawl.failed`	爬取过程中发生错误时触发

负载

{
  "success": true,
  "type": "crawl.page",
  "id": "crawl-job-id",
  "data": [...], // 'page' 事件的页面数据
  "metadata": {}, // Your custom metadata
  "error": null
}

验证 webhook 签名

来自 Firecrawl 的每个 webhook 请求都会包含一个 X-Firecrawl-Signature 请求头，其中含有一个 HMAC-SHA256 签名。务必验证此签名，以确保 webhook 为真实请求且未被篡改。

在账户设置中的 Advanced (高级) 选项卡获取你的 webhook 密钥 (secret)
从 X-Firecrawl-Signature 请求头中提取签名
使用该密钥对原始请求体计算 HMAC-SHA256
使用时间安全函数 (timing-safe function) 将计算结果与签名请求头中的值进行比较

在验证签名之前，切勿处理任何 webhook。X-Firecrawl-Signature 请求头中的签名格式为：sha256=abc123def456...

有关 JavaScript 和 Python 的完整实现示例，请参阅 Webhook 安全文档。如需查看更全面的 webhook 文档，包括详细的事件负载、负载结构、高级配置和故障排查，请参阅 Webhooks 文档。

执行与结果统计

爬取运行结束，并不等于它抓取到了每一个页面。本节说明爬取相关 endpoints 目前会针对一次运行报告哪些内容——计数器、分页约定、失败记录以及范围限制——以便你自行判断某次运行是否足够完整、可以据此采取行动。这些记录都不能保证抓取的完整性。

读取状态计数器

Get 爬取 Status (GET /v2/crawl/{id}) 返回的每个响应都包含用于描述本次运行的计数器：

字段	含义
`status`	`scraping`、`completed`、`failed` 或 `cancelled` 之一
`total`	`completed` 加上仍在处理中的页面：活跃、排队和积压中的页面。失败的页面不计入其中。
`completed`	已成功爬取的页面数量
`creditsUsed`	本次爬取目前已消耗的额度
`createdAt` / `completedAt` / `duration`	开始时间、结束时间 (仅终态) 以及耗时秒数
`expiresAt`	结果不再可通过 API 获取的时间
`next`	下一个 10MB 结果页的 URL。`status` 不为 `completed` 时也会返回 —— 请参见分页获取结果。

对于已完成的爬取，completed == total 并不意味着每个 discovered page 都成功了。由于 total 是已完成、活跃、排队和积压页面之和，且不含失败的页面，处于终态的爬取其 active、queued 和 backlog 始终为零 —— 因此无论是否有页面失败，这两个计数器都会相等。状态计数器无法告诉你是否发生了失败。失败的页面只能通过 Get 爬取 Errors 逐一列出。

data 数组仅包含 Firecrawl 成功抓取的页面。已尝试但未产生结果的页面不会出现在 data 中 —— 请从下文的 Get 爬取 Errors 中获取。

分页读取结果

响应大小上限为 10MB。响应被截断时，next 会携带下一页结果的 URL。 next 并不单纯是“还有更多数据”的信号：只要 status 不是 completed，它就会出现，因此已进入终态 failed 或 cancelled 的爬取即便没有更多结果，也可能返回 next URL。不要把 next 是否缺失当作循环的退出条件——对失败或已取消的爬取来说，它永远不会消失。真正的终止条件是 status 字段。要完整读取一次运行：

轮询 GET /v2/crawl/{id}，直到 status 变为 completed、failed 或 cancelled 之一。
只要 next 存在且上一页返回的 data 数组非空，就沿着 next 继续收集剩余结果。
当 next 不存在，或某一页未返回新文档时，停止。

官方 SDKs 会自动处理分页，并一次性返回全部结果。

失败和被封禁的页面

Get Crawl Errors (GET /v2/crawl/{id}/errors) 会记录未进入 data 的页面，返回两个数组：

errors — 出错的抓取任务，每一项包含 id、url、error (错误消息) 以及失败发生时的 timestamp。这些是 Firecrawl 自身抓取失败的页面，例如网络错误、超时等。被有意跳过的外部站点首页链接也会在此上报，错误代码为 EXTERNAL_LINK。
robotsBlocked — 已尝试访问但被站点 robots.txt 封禁的 URL。

该列表并不保证完整列举每一次失败：目前部分内部失败类别会在构建响应之前从 errors 中被过滤掉。请将其视为 Firecrawl 上报的失败记录，而不能据此断定没有其他问题。上文提到的错误代码 (EXTERNAL_LINK) 目前会在错误对象中返回，但尚未纳入已发布的 GET /crawl/{id}/errors schema，相关 API Reference 文档待更新。

如果目标站点返回了诸如 404 之类的 HTTP 错误，该页面不算爬取错误：Firecrawl 已成功抓取它，因此它会出现在 data 中，并在 metadata.statusCode 中带有站点返回的状态码。

爬虫的可达范围

覆盖范围受你设置的范围参数限制，这些参数均记录在配置参考和爬取 endpoint 参考中：

默认仅抓取子路径。 爬取会忽略不属于所提供 URL 子级的链接。使用 crawlEntireDomain 抓取同级和上级路径，使用 allowSubdomains 抓取子域名，使用 allowExternalLinks 跟随跨域名的链接。
includePaths / excludePaths 以正则表达式匹配 URL 的 pathname —— 而非完整 URL，也不包含查询参数。设置 regexOnFullURL: true 可改为匹配包含查询字符串的完整 URL。起始 URL 同样会与 includePaths 进行匹配：若不匹配，爬取可能返回 0 个页面。
sitemap 模式。 使用默认的 sitemap: "include" 时，URL 来自 sitemap 以及递归的链接发现。"skip" 仅使用 HTML 链接，因此会遗漏仅存在于 sitemap 中的页面，例如 PDF 或层级很深的页面。"only" 则只抓取 sitemap 加起始 URL，不从 HTML 中发现链接。
maxDiscoveryDepth 限制从根节点起可跟随的链接发现跳数。处于最大深度的页面仍会被抓取，但不会再跟随其中发现的链接。
limit 限制页面数量，默认值为 10000。
ignoreQueryParameters 可避免对查询参数不同的同一路径重复抓取。
遵守 robots.txt，除非启用 ignoreRobotsTxt (仅限企业版) 。

maxConcurrency 默认为你团队的 concurrency 上限，该上限由你的 plan 决定 —— 请参见限流。

当多次运行结果不一致时

同一配置在多次运行之间的爬取结果可能会有所不同。页面会并发抓取，因此链接被发现的顺序取决于网络时序以及哪些页面先完成加载。这意味着在接近深度边界时，站点的不同分支可能会被探索到不同程度，尤其是在 maxDiscoveryDepth 值较高时。要让运行结果更可复现：

将 maxConcurrency 设置为 1。如配置参考所述，maxConcurrency 表示“最大并发抓取数”——它限制同时进行的请求数量。这会减少依赖时序的交错执行，但并不能消除运行间的差异：sitemap 发现的入队不受该上限约束，嵌套 sitemap 会作为独立任务获取，且返回的 data 数组按完成时间而非发现顺序排列。设置 delay 也会将并发数强制为 1。
如果站点拥有完整的 sitemap，请使用 sitemap: "only"，这样 URL 集合来自 sitemap 而非链接发现。

判断爬取何时完成

如果不使用轮询，webhook 事件也能告诉你同样的信息：每成功抓取一个页面都会触发 crawl.page，运行结束时会触发 crawl.completed (或 crawl.failed) 。任务结果在完成后的 24 小时内可通过 API 获取；超过该时限后，可在活动日志中查看。

配置参考

提交爬取任务时可用的完整参数集：

参数	类型	默认值	说明
`url`	`string`	(必填)	开始爬取的起始 URL
`limit`	`integer`	`10000`	最大爬取页面数
`maxDiscoveryDepth`	`integer`	(无)	基于链接发现跳数、相对于根 URL 的最大深度，而不是 URL 中 `/` 分段的数量。每当在某个页面上发现一个新 URL 时，其深度都会被设为比发现它的页面高 1。根站点和通过 sitemap 发现的页面，其发现深度为 0。处于最大深度的页面仍会被抓取，但不会继续跟踪其上的链接。
`includePaths`	`string[]`	(无)	要包含的 URL 路径正则表达式模式。仅爬取匹配的路径。
`excludePaths`	`string[]`	(无)	要从爬取中排除的 URL 路径正则表达式模式
`regexOnFullURL`	`boolean`	`false`	让 `includePaths`/`excludePaths` 针对完整 URL (包括查询参数) 进行匹配，而不只是路径部分
`crawlEntireDomain`	`boolean`	`false`	跟踪指向同级或上级 URL 的站内链接，而不只是子路径
`allowSubdomains`	`boolean`	`false`	跟踪指向主域名下子域名的链接
`allowExternalLinks`	`boolean`	`false`	跟踪指向外部网站的链接。外部链接仅跟踪一跳 (不会爬取其自身的链接) ，并会跳过指向外部网站首页的链接 — 请参见外部链接。
`sitemap`	`string`	`"include"`	sitemap 处理方式：`"include"` (默认) 、`"skip"` 或 `"only"`
`ignoreQueryParameters`	`boolean`	`false`	避免因查询参数不同而对同一路径重复抓取
`ignoreRobotsTxt`	`boolean`	`false`	忽略网站的 robots.txt 规则。仅限 Enterprise — 请联系 support@firecrawl.com 启用。
`robotsUserAgent`	`string`	(无)	用于评估 robots.txt 的自定义 User-Agent 字符串。设置后，将使用此 User-Agent 获取 robots.txt，并根据它而不是默认值来匹配规则。仅限 Enterprise — 请联系 support@firecrawl.com 启用。
`delay`	`number`	(无)	每次抓取之间的延迟时间 (秒) ，以遵守速率限制。设置此项会强制并发数为 1。
`maxConcurrency`	`integer`	(无)	最大并发抓取数。默认使用你团队的并发限制。
`scrapeOptions`	`object`	(无)	应用于每个抓取页面的选项 (formats、代理、缓存、actions 等)
`webhook`	`object`	(无)	用于实时通知的 webhook 配置
`prompt`	`string`	(无)	用于生成爬取选项的自然语言提示。显式设置的参数会覆盖自动生成的对应参数。

重要说明

默认情况下，爬取会忽略不属于你提供的 URL 子路径的链接。例如，如果你爬取 website.com/blogs/，则不会返回 website.com/other-parent/blog-1。使用 crawlEntireDomain 参数可包含同级路径和父级路径。要在爬取 website.com 时一并爬取 blog.website.com 这类子域名，请使用 allowSubdomains 参数。

sitemap 发现：默认情况下，爬虫会包含网站的 sitemap 来发现 URL (sitemap: "include") 。如果设置 sitemap: "skip"，则只会发现可通过根 URL 的 HTML 链接访问到的页面。像 PDF 这类资源，或列在 sitemap 中但未在 HTML 中直接链接的深层页面，都会被遗漏。为了获得最大覆盖率，建议保留默认设置。
额度消耗：每爬取一个页面消耗 1 个额度。JSON 模式每页额外消耗 4 个额度，PDF 解析则每个 PDF 页面消耗 1 个额度。
结果过期时间：任务结果在完成后的 24 小时内可通过 API 获取。此后，请在活动日志中查看结果。
爬取错误：data 数组包含 Firecrawl 成功抓取的页面。使用 Get Crawl Errors 端点可获取因网络错误、超时或被 robots.txt 封禁而失败的页面。

外部链接：设置 allowExternalLinks: true 后，爬虫会跟随指向域名外部的链接，并对每个链接页面抓取一次——不会继续爬取这些外部页面中的链接。指向外部站点主页的链接 (不含路径的根 URL，例如 https://example.com/) 会被特意跳过，以避免抓取整个无关站点；这些链接会以代码 EXTERNAL_LINK 显示在 Get Crawl Errors 中。重定向会被跟随至其目标地址——包括解析为其规范 URL 的链接 (例如 http → https 或 www 变体) ——因此，只有最终跳转至外部主页的重定向会被跳过。

非确定性结果：同一配置在多次运行之间的爬取结果可能会有所不同，因为页面是并发抓取的，链接发现顺序取决于网络时序。关于哪些方面会发生变化以及如何让运行更可复现，请参见执行与结果统计。

你是需要 Firecrawl API 密钥的 AI 代理吗？请参阅 firecrawl.dev/agent-onboarding/SKILL.md 了解自动化接入说明。

快速上手

核心端点

更多

快速入门

开发者指南

Webhooks

使用场景

其他

参与贡献

爬取

在 Playground 中试用

安装

基本用法

Scrape 选项

检查爬取状态

响应处理

SDK 方法

抓取并等待

启动后稍后检查

使用 WebSocket 获取实时结果

Webhooks

事件类型

负载

验证 webhook 签名

执行与结果统计

读取状态计数器

分页读取结果

失败和被封禁的页面

爬虫的可达范围

当多次运行结果不一致时

判断爬取何时完成

配置参考

重要说明

在 Playground 中试用

​安装

​基本用法

​Scrape 选项

​检查爬取状态

​响应处理

​SDK 方法

​抓取并等待

​启动后稍后检查

​使用 WebSocket 获取实时结果

​Webhooks

​事件类型

​负载

​验证 webhook 签名

​执行与结果统计

​读取状态计数器

​分页读取结果

​失败和被封禁的页面

​爬虫的可达范围

​当多次运行结果不一致时

​判断爬取何时完成

​配置参考

​重要说明

安装

基本用法

Scrape 选项

检查爬取状态

响应处理

SDK 方法

抓取并等待

启动后稍后检查

使用 WebSocket 获取实时结果

Webhooks

事件类型

负载

验证 webhook 签名

执行与结果统计

读取状态计数器

分页读取结果

失败和被封禁的页面

爬虫的可达范围

当多次运行结果不一致时

判断爬取何时完成

配置参考

重要说明