刚看了一些抓取日志，发现robots屏蔽的不够彻底啊 悬赏5元 已结束
/wp-admin/admin-ajax.php
/wp-admin/
这两个页面占据了大部分抓取量，
我是用WP建站，这两个应该是后台吧
我是不是都要屏蔽掉？
12 人参与回答
重点不是这个，把内容做好，后台它也进不了，需要登录！
除前台页面，所有的页面都 要弄掉
disallow：/wp-admin/
写上这个就不会抓取 这个路径下的链接了
1、一般后台文件夹需要改一下，你用的默认文件夹，很容易被发现，这个不用刻意屏蔽，一般不会抓后台收录；
2、Robots屏蔽了，百度站长可以去检验是否屏蔽成功；
3、蜘蛛一直在抓，那么被收录了吗，没收录不影响；
4、一直抓取，那么是真的蜘蛛在抓取吗，可以辨别下。
你屏蔽它干啥 要佛系一点！
我的也是
不用的，让他随便抓
可也i屏蔽，这种都没用的
