Skip to main content
POST
OnPage API 内容解析
把某个已爬取 url 解析成结构化内容,markdown_view 可输出 markdown。实测 592 字节。读的是一次已完成的爬取,因此需要 post_dataforseo_on_page_submit 返回的 id,并会带回 crawl_progresscrawl_statusmax_crawl_pagespages_in_queuepages_crawled)——结果偏少时先看这几个字段,爬取还在跑就是本来没那么多。 独立版孪生 post_dataforseo_on_page_content_parsing_live 不需要爬取就能解析任意 URL——页面不在爬取范围内时优先用那个。

示例

授权

Authorization
string
header
必填

Bearer authentication header of the form Bearer <token>, where <token> is your auth token.

请求体

application/json
url
string
必填

要解析的内容的 URL,必填字段;要解析的页面 URL;示例:https://dataforseo.com/blog/a-versatile-alternative-to-google-trends-exploring-the-power-of-dataforseo-trends-api

id
string
必填

任务 ID。必填字段。您可以从 Task POST 端点的响应中获取此 ID。注意:POST 请求中的 enable_content_parsing 参数必须设置为 true。示例:"07131248-1535-0216-1000-17384017ad04"

markdown_view
boolean

以 Markdown 格式返回页面内容。可选字段;如果设置为 true,页面的 Markdown 格式内容将在响应的 page_as_markdown 字段中返回;默认值:false

响应

成功响应

version
string

API 的当前版本

status_code
integer

通用状态码;您可以在此处查看完整的响应码列表。注意:我们强烈建议设计必要的系统来处理相关异常或错误情况

status_message
string

常规信息消息;可在此处查看常规信息消息的完整列表

time
string

执行时间(秒)

cost
number

任务总成本(美元)

tasks_count
integer

tasks 数组中的任务数量

tasks_error
integer

返回错误的 tasks 数组中的任务数量

tasks
string[]

任务数组

tasks.id
string

任务标识符,系统中采用 UUID 格式的唯一任务标识符

tasks.status_code
integer

DataForSEO 生成的任务状态码;范围为:10000-60000;完整响应代码列表可在此处查看

tasks.status_message
string

任务的信息性消息,你可以在此处查看通用信息性消息的完整列表

tasks.time
string

执行时间(秒)

tasks.cost
number

任务成本(美元)

tasks.result_count
integer

结果数组中的元素数量

tasks.path
string[]

URL 路径

tasks.data
object

包含您在 POST 请求中指定的相同参数

tasks.result
string[]

结果数组

tasks.result.crawl_progress
string

抓取会话的状态,可能的值:in_progress、finished

tasks.result.crawl_status
object

抓取会话的详细信息

tasks.result.items_count
integer

results 数组中的项目数量

tasks.result.items
string[]

items 数组

tasks.result.items.type
string

返回项的类型 = ‘сontent_parsing_element’

tasks.result.items.fetch_time
string

内容获取的日期和时间,示例:"2022-11-01 10:02:52 +00:00"

tasks.result.items.status_code
integer

页面状态码

tasks.result.items.page_content
object

页面的解析内容

tasks.result.items.page_content.header
object

解析后的标头内容

tasks.result.items.page_content.primary_content
string[]

页面上的主要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章

tasks.result.items.page_content.primary_content.text
string

内容文本

tasks.result.items.page_content.primary_content.url
string

当文本为链接锚文本时显示的页面 URL

tasks.result.items.page_content.primary_content.urls
string[]

包含在内容元素中找到的其他 URL 和锚文本

tasks.result.items.page_content.primary_content.urls.url
string

在 content 元素中找到的其他 URL

tasks.result.items.page_content.primary_content.urls.anchor_text
string

URL 的锚文本

tasks.result.items.page_content.secondary_content
string[]

页面上的次要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章

tasks.result.items.page_content.secondary_content.text
string

内容文本

tasks.result.items.page_content.secondary_content.url
string

当文本为链接锚文本时显示的页面 URL

tasks.result.items.page_content.secondary_content.urls
string[]

包含在内容元素中找到的其他 URL 和锚文本

tasks.result.items.page_content.secondary_content.urls.url
string

在 content 元素中找到的其他 URL

tasks.result.items.page_content.secondary_content.urls.anchor_text
string

URL 的锚文本

tasks.result.items.page_content.table_content
string[]

页面上的表格内容

tasks.result.items.page_content.table_content.header
string[]

表格的表头内容

tasks.result.items.page_content.table_content.header.row_cells
string[]

表头行单元格的内容

tasks.result.items.page_content.table_content.header.row_cells.text
string

行单元格中的文本

tasks.result.items.page_content.table_content.header.row_cells.urls
string[]

包含单元格中发现的其他 URL 和锚点

tasks.result.items.page_content.table_content.header.row_cells.urls.url
string

单元格中找到的 URL

tasks.result.items.page_content.table_content.header.row_cells.urls.anchor_text
string

URL 的锚文本

tasks.result.items.page_content.table_content.header.row_cells.is_header
boolean

指示文本是否属于标题

tasks.result.items.page_content.table_content.body
string[]

表格主体内容

tasks.result.items.page_content.table_content.body.row_cells
string[]

表头行单元格的内容

tasks.result.items.page_content.table_content.body.row_cells.text
string

行单元格中的文本

tasks.result.items.page_content.table_content.body.row_cells.urls
string[]

包含单元格中发现的其他 URL 和锚点

tasks.result.items.page_content.table_content.body.row_cells.urls.url
string

单元格中找到的 URL

tasks.result.items.page_content.table_content.body.row_cells.urls.anchor_text
string

URL 的锚文本

tasks.result.items.page_content.table_content.body.row_cells.is_header
boolean

指示文本是否属于标题

表格页脚的内容

表头行单元格的内容

行单元格中的文本

包含单元格中发现的其他 URL 和锚点

单元格中找到的 URL

URL 的锚文本

指示文本是否属于标题

页脚的解析内容

tasks.result.items.page_content.main_topic
string[]

页面上的主要主题;可在此帮助中心文章中了解有关主题优先级计算的更多信息

tasks.result.items.page_content.main_topic.h_title
string

元标题

tasks.result.items.page_content.main_topic.main_title
string

区块主标题

tasks.result.items.page_content.main_topic.author
string

内容作者姓名

tasks.result.items.page_content.main_topic.language
string

内容语言

tasks.result.items.page_content.main_topic.level
string

HTML 层级

tasks.result.items.page_content.main_topic.primary_content
string[]

页面上的主要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章

tasks.result.items.page_content.main_topic.text
string

内容文本

tasks.result.items.page_content.main_topic.url
string

当文本为链接锚文本时显示的页面 URL

tasks.result.items.page_content.main_topic.urls
string[]

包含在内容元素中找到的其他 URL 和锚文本

tasks.result.items.page_content.main_topic.urls.url
string

在 content 元素中找到的其他 URL

tasks.result.items.page_content.main_topic.urls.anchor_text
string

URL 的锚文本

tasks.result.items.page_content.main_topic.secondary_content
string[]

页面上的次要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章

tasks.result.items.page_content.secondary_topic
string[]

页面上的次要主题;有关主题优先级计算的更多信息,请参阅此帮助中心文章

tasks.result.items.page_content.secondary_topic.h_title
string

元标题

tasks.result.items.page_content.secondary_topic.main_title
string

区块主标题

tasks.result.items.page_content.secondary_topic.author
string

内容作者姓名

tasks.result.items.page_content.secondary_topic.language
string

内容语言

tasks.result.items.page_content.secondary_topic.level
string

HTML 层级

tasks.result.items.page_content.secondary_topic.primary_content
string[]

页面上的主要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章

tasks.result.items.page_content.secondary_topic.text
string

内容文本

tasks.result.items.page_content.secondary_topic.url
string

当文本为链接锚文本时显示的页面 URL

tasks.result.items.page_content.secondary_topic.urls
string[]

包含在内容元素中找到的其他 URL 和锚文本

tasks.result.items.page_content.secondary_topic.urls.url
string

在 content 元素中找到的其他 URL

tasks.result.items.page_content.secondary_topic.urls.anchor_text
string

URL 的锚文本

tasks.result.items.page_content.secondary_topic.secondary_content
string[]

页面上的次要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章

tasks.result.items.page_content.ratings
string[]

包含页面所展示产品的评分信息对象

tasks.result.items.page_content.ratings.name
string

rating 名称。注意:此字段未在此特定对象中使用,其值始终设为 null

tasks.result.items.page_content.ratings.rating_value
integer

评级值

tasks.result.items.page_content.ratings.max_rating_value
integer

评分的最大值

tasks.result.items.page_content.ratings.rating_count
integer

反馈数量

tasks.result.items.page_content.ratings.relative_rating
number

相对评分的取值范围为 0 到 1

tasks.result.items.page_content.offers
string[]

页面上展示的产品数组,其中包含具有页面所展示产品相关信息的对象

tasks.result.items.page_content.offers.name
string

产品名称

tasks.result.items.page_content.offers.price
integer

产品价格

tasks.result.items.page_content.offers.price_currency
string

价格币种

tasks.result.items.page_content.offers.price_valid_until
integer

显示价格有效期截止的日期和时间,采用 UTC 格式:“yyyy-mm-dd hh-mm-ss +00:00”,示例:"2022-11-01 10:02:52 +00:00"

tasks.result.items.page_content.comments
string[]

页面上显示的评论数组,包含与所展示产品相关的评论信息对象

tasks.result.items.page_content.comments.rating
object

产品评分,包含客户为该产品给出的评分信息

tasks.result.items.page_content.comments.name
string

评分名称。注意:此字段未在此特定对象中使用,其值始终为 null

tasks.result.items.page_content.comments.rating_value
integer

评级值

tasks.result.items.page_content.comments.max_rating_value
integer

评分的最大值

tasks.result.items.page_content.comments.rating_count
integer

反馈数量。注意:此字段未在此特定对象中使用,其值始终为 null

tasks.result.items.page_content.comments.relative rating
number

相对评分的取值范围为 0 到 1

tasks.result.items.page_content.comments.title
string

客户评论的标题

tasks.result.items.page_content.comments.publish_date
string

评论发布日期

tasks.result.items.page_content.comments.author
string

评论作者

tasks.result.items.page_content.comments.primary_content
string[]

页面上的主要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章

tasks.result.items.page_content.comments.primary_content.text
string

评论文本

tasks.result.items.page_content.comments.primary_content.url
string

当文本为链接锚文本时显示

tasks.result.items.page_content.comments.primary_content.urls
string[]

包含在内容元素中找到的其他 URL 和锚文本

tasks.result.items.page_content.contacts
object

联系信息,包含页面上显示的联系信息

tasks.result.items.page_content.contacts.telephones
string[]

电话号码数组

tasks.result.items.page_content.contacts.emails
string[]

电子邮件数组

tasks.result.items.page_as_markdown
string

Markdown 格式的页面内容 text-to-HTML Markdown 格式的页面内容;在请求中将 markdown_view 指定为 true 以返回该值