实时 OnPage API 内容解析
此端点支持解析您指定的任意页面内容,并返回目标页面的结构化内容,包括链接 URL、锚文本、标题…
授权
Bearer authentication header of the form Bearer <token>, where <token> is your auth token.
请求体
要解析的内容 URL,必填字段,要解析的页面 URL,示例:https://www.fujielectric.com/
自定义用户代理。可选字段,用于抓取网站的自定义用户代理。示例:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36。默认值:Mozilla/5.0 (compatible; RSiteAuditor)
浏览器屏幕参数预设,可选字段。如果使用此字段,则无需指定 browser_screen_width、browser_screen_height、browser_screen_scale_factor。可用值:desktop、mobile、tablet。desktop 预设将应用以下值:browser_screen_width: 1920 browser_screen_height: 1080 browser_screen_scale_factor: 1。mobile 预设将应用以下值:browser_screen_width: 390 browser_screen_height: 844 browser_screen_scale_factor: 3。tablet 预设将应用以下值:browser_screen_width: 1024 browser_screen_height: 1366 browser_screen_scale_factor: 2。注意:要使用此参数,请将 enable_javascript 或 enable_browser_rendering 设置为 true
浏览器屏幕宽度,可选字段。您可以设置自定义浏览器屏幕宽度,以针对特定设备执行审计;如果使用此字段,则无需指定 browser_preset,因为它将被忽略。注意:要使用此参数,请将 enable_javascript 或 enable_browser_rendering 设置为 true。最小值(像素):240;最大值(像素):9999
浏览器屏幕高度,可选字段。您可以设置自定义浏览器屏幕高度,以针对特定设备执行审计;如果使用此字段,则无需指定 browser_preset,因为它将被忽略。注意:要使用此参数,请将 enable_javascript 或 enable_browser_rendering 设置为 true。最小值(像素):240;最大值(像素):9999
浏览器屏幕缩放系数,可选字段。可以设置自定义浏览器屏幕分辨率比例,以针对特定设备执行审计;如果使用此字段,则无需指定 browser_preset,因为它将被忽略。注意:要使用此参数,请将 enable_javascript 或 enable_browser_rendering 设置为 true。最小值:0.5。最大值:3
存储已抓取页面的 HTML;可选字段;如果要通过 OnPage Raw HTML 端点获取页面的 HTML,请设置为 true;默认值:false
禁用 Cookie 弹窗 可选字段;如果要禁用请求用户同意使用 Cookie 的弹窗,请设置为 true;默认值:false
用于访问网站的语言标头,可选字段。支持所有区域设置格式(xx、xx-XX、xxx-XX 等)。注意:如果未指定此参数,某些网站可能会拒绝访问;在这种情况下,响应数组中返回的页面将包含 "type":"broken
在页面上加载 JavaScript。可选字段。如果要加载页面上可用的脚本,请设置为 true。默认值:false。注意:使用此参数将产生额外费用;有关使用此参数的任务费用,请参阅我们的帮助文章;费用可在定价页面上计算
模拟浏览器渲染以测量 Core Web Vitals 可选字段 使用此参数可在加载网页时模拟浏览器;enable_browser_rendering 会加载页面上的样式、图像、字体、动画、视频及其他资源;默认值:false 设置为 true 可在响应中获取 Core Web Vitals(FID、CLS、LCP)指标;如果使用此字段,enable_javascript 和 load_resources 参数必须设置为 true 注意:使用此参数会产生额外费用;有关使用此参数的任务费用,请参阅我们的帮助文章;具体费用可在 Pricing Page 上计算
在页面上启用 XMLHttpRequest;可选字段。如果希望我们的爬虫使用 XMLHttpRequest 对象从 Web 服务器请求数据,请设置为 true。默认值:false。如果使用此字段,enable_javascript 必须设置为 true;
切换代理池,可选字段;如果为 true,将使用其他代理池获取请求的数据;当同时设置大量任务,偶尔出现限流和/或 site_unreachable 错误时,可以使用此参数
代理池,可选字段;可选择用于获取所请求数据的代理池位置。如果某一位置无法访问页面内容并偶尔导致 site_unreachable 错误,则可使用此参数。可选值:us, de
以 Markdown 格式返回页面内容。可选字段;如果设置为 true,页面的 Markdown 格式内容将在响应的 page_as_markdown 字段中返回;默认值:false
响应
成功响应
API 的当前版本
通用状态码;您可以在此处查看完整的响应码列表。注意:我们强烈建议设计必要的系统来处理相关异常或错误情况
常规信息消息;可在此处查看常规信息消息的完整列表
执行时间(秒)
任务总成本(美元)
tasks 数组中的任务数量
返回错误的 tasks 数组中的任务数量
任务数组
任务标识符,系统中采用 UUID 格式的唯一任务标识符
DataForSEO 生成的任务状态码;范围为:10000-60000;完整响应代码列表可在此处查看
任务的信息性消息,你可以在此处查看通用信息性消息的完整列表
执行时间(秒)
任务成本(美元)
结果数组中的元素数量
URL 路径
包含您在 POST 请求中指定的相同参数
结果数组
抓取会话的状态,可能的值:in_progress、finished
抓取会话的详细信息
results 数组中的项目数量
items 数组
返回项的类型 = ‘сontent_parsing_element’
内容获取的日期和时间,采用 UTC 格式:“yyyy-mm-dd hh-mm-ss +00:00”,示例:"2022-11-01 10:02:52 +00:00"
页面状态码
页面的解析内容
解析后的标头内容
页面上的主要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章
内容文本
当文本为链接锚文本时显示的页面 URL
包含在内容元素中找到的其他 URL 和锚文本
在 content 元素中找到的其他 URL
URL 的锚文本
页面上的次要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章
内容文本
当文本为链接锚文本时显示的页面 URL
包含在内容元素中找到的其他 URL 和锚文本
在 content 元素中找到的其他 URL
URL 的锚文本
页面上的表格内容
表格的表头内容
表头行单元格的内容
行单元格中的文本
包含单元格中发现的其他 URL 和锚点
单元格中找到的 URL
URL 的锚文本
指示文本是否属于标题
表格主体内容
表头行单元格的内容
行单元格中的文本
包含单元格中发现的其他 URL 和锚点
单元格中找到的 URL
URL 的锚文本
指示文本是否属于标题
表格页脚的内容
表头行单元格的内容
行单元格中的文本
包含单元格中发现的其他 URL 和锚点
单元格中找到的 URL
URL 的锚文本
指示文本是否属于标题
页脚的解析内容
页面上的主要主题;可在此帮助中心文章中了解有关主题优先级计算的更多信息
元标题
区块主标题
内容作者姓名
内容语言
HTML 层级
页面上的主要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章
内容文本
当文本为链接锚文本时显示的页面 URL
包含在内容元素中找到的其他 URL 和锚文本
在 content 元素中找到的其他 URL
URL 的锚文本
页面上的次要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章
页面上的次要主题;有关主题优先级计算的更多信息,请参阅此帮助中心文章
元标题
区块主标题
内容作者姓名
内容语言
HTML 层级
页面上的主要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章
内容文本
当文本为链接锚文本时显示的页面 URL
包含在内容元素中找到的其他 URL 和锚文本
在 content 元素中找到的其他 URL
URL 的锚文本
页面上的次要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章
包含页面所展示产品的评分信息对象
rating 名称。注意:此字段未在此特定对象中使用,其值始终设为 null
评级值
评分的最大值
反馈数量
相对评分的取值范围为 0 到 1
页面上展示的产品数组,其中包含具有页面所展示产品相关信息的对象
产品名称
产品价格
价格币种
显示价格有效期截止的日期和时间,采用 UTC 格式:“yyyy-mm-dd hh-mm-ss +00:00”,示例:"2022-11-01 10:02:52 +00:00"
页面上显示的评论数组,包含与所展示产品相关的评论信息对象
产品评分,包含客户为该产品给出的评分信息
评分名称。注意:此字段未在此特定对象中使用,其值始终为 null
评级值
评分的最大值
反馈数量。注意:此字段未在此特定对象中使用,其值始终为 null
相对评分的取值范围为 0 到 1
客户评论的标题
评论发布日期
评论作者
页面上的主要内容;有关内容优先级计算的更多信息,请参阅此帮助中心文章
评论文本
当文本为链接锚文本时显示
包含在内容元素中找到的其他 URL 和锚文本
联系信息,包含页面上显示的联系信息
电话号码数组
电子邮件数组
Markdown 格式的页面内容 text-to-HTML Markdown 格式的页面内容;在请求中将 markdown_view 指定为 true 以返回该值