最近发现抓取js比其他页面多 需要屏蔽蜘蛛嘛
可以屏蔽
一般都是假蜘蛛,你可以看看ip
写进Robots屏蔽掉
不建议屏蔽JS或者CSS 因为蜘蛛也是需要了解你网站的样式的 图片可以屏蔽 慢慢内容量上来了 抓取js的蜘蛛基本也可以忽略了
这个没有什么用,可以屏蔽
可以试试屏蔽下
应该是假蜘蛛,还抓取各种后缀的文件吧
建议去屏蔽一下哦, 可以
都不用去屏蔽 除非你服务器撑不住了
建议去屏蔽一下哦
可以这样做
屏蔽下 可以
让更多人参与回答