搜外网>搜外问答>问答页面

请高手帮我翻译一下robots.txt文件

微信

<p>以下是一个网站的 robots.txt文件，写的什么意思？</p><p><br></p>

Robots 举报 本帖由用户发布，如有侵权联系删除 2020-10-16 发布694 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

1 人参与回答

姓民 · 大都督

首先，限制蜘蛛爬取频率貌似已经没用了现在，不用知道这个也罢，意思大概是：

1、首先第一点信息就是，禁止所有蜘蛛抓取网站

2、对百度蜘蛛、搜狗蜘蛛、360蜘蛛、谷歌蜘蛛这四个不仅不让他们抓，而且还限制频率，当第一次被拒绝了，隔5s后才可以再次请求测试，