搜外网>搜外问答>问答页面

有没什么办法将大部分域名设置抓取次数限制呢，就留主域名抓取不限制就行了 悬赏1元 已结束

微信

因为是城市分站系统，几百个二级城市域名（虽然是一个站，但是二级域名多，百度会当做是几百个网站，蜘蛛抓取量会很多，导致服务器负载太大，影响正常访问），有没什么办法将大部分城市域名设置抓取次数限制呢，就留主域名抓取不限制就行了

追加问题
二级域名
本帖由用户发布，如有侵权联系删除  2023-03-13 发布1,025 次浏览
举报
其他问题
 
    11 人参与回答
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
用户156223 等 1 人赞同该回答

1、百度资源平台验证的域名是可以调整抓取频次，如果没有验证的，这种就是看蜘蛛自己怎么抓取；
2、解析200个二级域名，绑定的页面是单页还是多页，是否都是一样的页面，单页的话，抓取频次应该还可以接受，如果绑定的网站页面也多，那么总的起来，频次可能多些；
3、需分析下，看看是什么蜘蛛抓取频次高，是真的蜘蛛还是假的蜘蛛；
4、没有办法去控制200个二级域名的抓取频次。
ps：泛域名解析绑定地域站，后期被搜索引擎识别，可能会降权站点，判定是低质量页面

2 年前
IP属地：山西
赞同 1 评论 0
收藏 举报
评论取消
用户179092 · 上海沈泉泵阀公司

看看大佬都是怎么说的

2 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户166956 · 微机保护行业

看看大家都是怎么说的

2 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户231822 · 沈阳中北银屑病医院zbyxbyy com

看看大家都是怎么说的

2 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户210320 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

这种还没遇到过，因为我们一般都是直接屏蔽蜘蛛的。再一个百度站长平台可以设置抓取频率。

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户195267 · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全，各位站长可以免费提交收录。==》

如果是Nginx的话，可以设置每个IP访问限制，每60秒抓取5次。

2 年前
IP属地：海南
赞同 0 评论 0
收藏 举报
评论取消
用户123076 · 唵嘛咪叭咪吽

只能是从文件夹设置上来弄了，把二级域名统一放到一个或某几个文件夹中，然后Disallow这个文件夹就行

2 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
用户4701 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

有一种常见的方法是使用Crawl-delay指令在Robots.txt文件中设置抓取延迟，从而限制搜索引擎爬取站点的速度。例如，如果要限制搜索引擎每秒钟只能抓取你的站点10次，可以在robots.txt文件中添加以下指令：

User-agent: *
Crawl-delay: 6

这里的“6”表示每秒钟只能抓取6次，即每10秒钟只能抓取一次。注意，这个指令只是一个建议，不是强制性的规定。一些搜索引擎可能会忽略这个指令，或者按照自己的算法进行抓取。

Ps：蜘蛛抓取次数可通过各搜索引擎的站长平台设置抓取频次。

2 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
用户162725

看看大家是怎么说的

2 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户189805 · 315防伪标签办理中心-全国315产品防伪查询中心

　　接下来在右侧界面中，切换到“访问网站管理”选项卡，勾选“启用网址管理”功能后，点击“启用”按钮即可。

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消

收录宝

91393 08589 18336 iaoda om/16 om/17 om/20 om/14 om/15 om/44 om/19 om/43 om/23 om/18 om/46 om/42 om/24 om/28 -2/37 -4/57

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司