<p>今天查询日志发现蜘蛛爬了好多无效目录,这种是什么情况,对网站有影响吗?应该怎么处理?</p><p><br></p>
去站长平台进行死链提交
屏蔽就行了
给屏蔽一下就可以
无效就不要让百度蜘蛛抓取就行
Robots屏蔽下
可以在Robots里面禁止蜘蛛爬取目录
屏蔽掉就行了,留着没有用
Robots.txt 是不是可以用这个文件屏蔽不需要抓取的目录
屏蔽了吧。
屏蔽无效页面的抓取
屏蔽蜘蛛
无效就屏蔽掉吧
提交删除
主要目录太多了,每天还不一样,屏蔽起来也有点麻烦
屏蔽,或删除~
让更多人参与回答