搜外网>搜外问答>问答页面

有没什么办法将大部分域名设置抓取次数限制呢，就留主域名抓取不限制就行了悬赏1元已结束

微信

因为是城市分站系统，几百个二级城市域名（虽然是一个站，但是二级域名多，百度会当做是几百个网站，蜘蛛抓取量会很多，导致服务器负载太大，影响正常访问），有没什么办法将大部分城市域名设置抓取次数限制呢，就留主域名抓取不限制就行了

二级域名举报 本帖由用户发布，如有侵权联系删除 2023-03-13 发布774 次浏览

交换友情链接，就用搜外友链，方便！

11 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

罗凌峰等 1 人赞同该回答

1、百度资源平台验证的域名是可以调整抓取频次，如果没有验证的，这种就是看蜘蛛自己怎么抓取；
2、解析200个二级域名，绑定的页面是单页还是多页，是否都是一样的页面，单页的话，抓取频次应该还可以接受，如果绑定的网站页面也多，那么总的起来，频次可能多些；
3、需分析下，看看是什么蜘蛛抓取频次高，是真的蜘蛛还是假的蜘蛛；
4、没有办法去控制200个二级域名的抓取频次。
ps：泛域名解析绑定地域站，后期被搜索引擎识别，可能会降权站点，判定是低质量页面

胡汉三 · 上海沈泉泵阀公司

看看大佬都是怎么说的

杭州继保 · 微机保护行业

看看大家都是怎么说的

沈阳中北医 · 沈阳中北银屑病医院zbyxbyy com

看看大家都是怎么说的

利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

这种还没遇到过，因为我们一般都是直接屏蔽蜘蛛的。再一个百度站长平台可以设置抓取频率。

qwoey · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全，各位站长可以免费提交收录。==》

如果是Nginx的话，可以设置每个IP访问限制，每60秒抓取5次。

丫丫 · 唵嘛咪叭咪吽

只能是从文件夹设置上来弄了，把二级域名统一放到一个或某几个文件夹中，然后Disallow这个文件夹就行

武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

有一种常见的方法是使用Crawl-delay指令在Robots.txt文件中设置抓取延迟，从而限制搜索引擎爬取站点的速度。例如，如果要限制搜索引擎每秒钟只能抓取你的站点10次，可以在robots.txt文件中添加以下指令：

User-agent: *
Crawl-delay: 6

这里的“6”表示每秒钟只能抓取6次，即每10秒钟只能抓取一次。注意，这个指令只是一个建议，不是强制性的规定。一些搜索引擎可能会忽略这个指令，或者按照自己的算法进行抓取。

Ps：蜘蛛抓取次数可通过各搜索引擎的站长平台设置抓取频次。