wp系统。每天来几百蜘蛛。一大半都在抓取这个链接。请问这个是什么链接?怎么处理这样问题?
限制目录就可以了
Robots里面屏蔽掉就好了,你检查一下自己的robots文件
如果是真蜘蛛,robot里屏蔽就可以
如果是假蜘蛛,大量请求就有问题了;修改一下入口
都屏蔽了吧
可以可以!!!!
robot里屏蔽admin这个目录
是真实的蜘蛛吗,在robot文件屏蔽这个链接不允许抓取
1、WordPress建站,默认的登陆URL是:域名/wp-admin/
2、一般蜘蛛是不会抓爬登陆URL的;
3、这种是wordpress上实现ajax,通过前端代码后/wp-admin/进行交互;
4、百度站长蜘蛛抓取频次如何,这个一直抓这个页面,蜘蛛是否是真蜘蛛,要判断下,是真的可选择Robots屏蔽,还有自身是否有这个URL的存在。
让更多人参与回答