搜外网>搜外问答>问答页面

百度蜘蛛每天都抓robots一百多次，这正常吗？

微信

我这网站一天蜘蛛走680多个页面，其中有180多个是robots.txt，这正常吗？？？？

Robots 百度蜘蛛举报 本帖由用户发布，如有侵权联系删除 2021-05-31 发布806 次浏览

9 人参与回答

蹲一个大佬的回复，想知道+1

小迪

一天抓680个页面是从站长平台里统计看到的吗，如果不是的话，不一定准确哦

三郎 · 南京车位涂鸦

蜘蛛访问你的网站，第一个访问的就是Robots。
访问多少个页面是否正常，这个和你的网站页面数量有关。

A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

抓取结果也就无太大问题

橙橙 · 无锡华芯科技，霍尔元件，霍尔开关，专业霍尔生产厂家

正常，有的还有1000多呢

你要分析蜘蛛是真还是假，然后检测Robots文件是否有错误，网站没有什么异常的话，是不用担心的

寕榏青楓 · 无锡华芯科技，霍尔元件，霍尔开关

这很正常的啊

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、蜘蛛有真的，也有虚假的模拟的；
2、蜘蛛数量，可以对比着蜘蛛抓取频次；
3、网站无异常，这个抓取结果也就无太大问题。

岳信的天空 · IP防水防尘测试设备 SEO 淋雨试验箱咨询：18924062676

蹲一个大佬的回复，想知道+1

收录宝