搜外网>搜外问答>问答页面

网站日志一行出现三个不同的网址，蜘蛛抓取的到底是哪一个悬赏5元已结束

微信

<p>看下图网站日志中，一行出现了三个url:</p><p>/qr/api.php?</p><p>m.****.top/article/7520.html</p><p>www.****.top/article/7520.html</p><p>蜘蛛到底抓取的是哪一个页面。</p><p></p>

网站日志 PHP 举报 本帖由用户发布，如有侵权联系删除 2021-11-17 发布874 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

15 人参与回答

最佳回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

mrs Q、 SunShine、麦当笑等 3 人赞同该回答

1、可以借助在线网站日志分析工具来分析下，那里面的直接明显就能看出抓取页面；

2、蜘蛛抓取爬行的页面，会有返回码给出，这个截图里面有返回码给出的就是中间那个网页：

GET m.****.top/article/ 7520 . html， HTTP/ GET为请求方式，m.****.top/article/ 7520 . html，目标地址， HTTP/ 版本协议号

返回码200（表示访问完成） 334（下载网页大小，单位：字节）

seoer · seo站群

mrs Q 等 1 人赞同该回答

后面带数字的，200和334

后面带200 的，因为200是正常访问的

AA广告投

返回码是200的是顺利抓取的页面

东顺贸易

看你怎么匹配没做301都抓取的

互联网推广

用日志分析工具分析看看

崔家大院 · 网站诊断、建站、快速排名

首先不需要太过于关心抓取那个页面，你首先得看你的这三个页面，代表不同的的端，m是移动端，www肯定是pc端，置于api这个页面不需要关注，你这两个页面是以二级域名结尾的，所以都是不同的页面，蜘蛛都会抓取，你需要关注页面是不是有效收录，能不能收录就可以了。

HX · 阳光海天智慧停车停车场运营车库改造规划公司创造卓越停车体验

用百度站长工具APL提交

推送成功推送失败
状态码为200，可能返回以下字段：

字段是否必选参数类型说明
success 是 int 成功推送的url条数
remain 是 int 当天剩余的可推送url条数
not_same_Site 否 array 由于不是本站url而未处理的url列表
not_valid 否 array 不合法的url列表
成功返回示例：

{
"remain":99998,
"success":2,
"not_same_site":[],
"not_valid":[]
}

琪琪七七 · 防雷相关

不太清楚过来学习学习

十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

网上好多日志分析工具，可以找个试试，就一目了然了

青天仪表 · 流量计生产厂家3025343455/18837863530。

推推蛙回复的很详细了。

唔知叫什么 · 法律快车网站权重6，友情链接QQ1293815178

抓取到带返回码那个。

洋洋You · 焦作正规的整形美容医院

带返回码那个 200 334

SunSh

日志分析工具看看