求大佬解答:怎么查看或监视蜘蛛爬取了网站的哪些页面及内容?
1、网站日志分析,可以看蜘蛛来访抓取了哪些页面; 2、但是蜘蛛来访抓取有虚假模拟蜘蛛和真的蜘蛛,日志分析要针对性的看,蜘蛛来访抓取爬行了网页不代表就会放出收录; 3、稳定持续优化,做好网站站内和站外优化,提升域名信任度和质量度,提交推送,外链友链是引蜘蛛的操作。
网站日志里面看呗,或者用栈谷统计。用这两个方法都得自行分辨真假蜘蛛
查看网站日志啊
下载网站日志,然后去loghao(百度一下就知道了)可以在线看蜘蛛爬取情况
网络日志里面应该有吧
爱站工具包可查看蛛蛛抓取 了哪个页面
让更多人参与回答