刚看了一些抓取日志,发现robots屏蔽的不够彻底啊 悬赏5元 已结束

/wp-admin/admin-ajax.php

/wp-admin/

这两个页面占据了大部分抓取量,

我是用WP建站,这两个应该是后台吧

我是不是都要屏蔽掉?



追加问题
    12 人参与回答
心晴 等 1 人赞同该回答

这个正常,有些即使屏蔽了 也会被抓取的

重点不是这个,把内容做好,后台它也进不了,需要登录!

1. 首先蜘蛛也是有真假蜘蛛的,所以你看一下来你网站的是不是真的。

2. 如果确定是真的蜘蛛,那么可以看看是否收录了 

3. 去站长检测一下 

小小秋
小小秋 · 抖音点赞赚钱,趣味点,趣味点怎么赚钱,趣味点是什么平台

除前台页面,所有的页面都 要弄掉

徐德武
徐德武 · 热爱网络营销研究,SEO技术流

这个要屏蔽掉的。

对于搜索引擎的蜘蛛来说,是否屏蔽确实无所谓,

不过对于不法分子来说,暴露了后台就相当于距离攻击成功更进一步,

做好Robots屏蔽后台路径,有能力把登录后台的路径也改一下。

崔家大院
崔家大院 · 网站诊断、建站、快速排名

disallow:/wp-admin/

 写上这个就不会抓取 这个路径下的链接了

推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo

1、一般后台文件夹需要改一下,你用的默认文件夹,很容易被发现,这个不用刻意屏蔽,一般不会抓后台收录;

2、Robots屏蔽了,百度站长可以去检验是否屏蔽成功;

3、蜘蛛一直在抓,那么被收录了吗,没收录不影响;

4、一直抓取,那么是真的蜘蛛在抓取吗,可以辨别下。

你屏蔽它干啥 要佛系一点!

tony301
tony3 · 美国FBA海运大庄,提供跨境电商一站式物流服务。

我的也是

不用的,让他随便抓

崔~
崔~ · 企业积分营销与员工福利整体解决方案服务商

可也i屏蔽,这种都没用的

SEO培训招生中
154