1 人参与回答
姓民
姓民 · 大都督

首先,限制蜘蛛爬取频率 貌似已经没用了现在,不用知道这个也罢,意思大概是:

1、首先第一点信息就是,禁止所有蜘蛛抓取网站

2、对百度蜘蛛搜狗蜘蛛、360蜘蛛、谷歌蜘蛛这四个不仅不让他们抓,而且还限制频率,当第一次被拒绝了,隔5s后才可以再次请求测试,

SEO培训招生中
147