搜外网>搜外问答>问答页面

昨天屏蔽谷歌蜘蛛后,网站打开速度快了很多! 悬赏1元 已结束

天下苦谷歌久已,以前网站打开速度慢!

服务器负载经常被干满,检查了很多地方没有找到原因!

昨天安装了个蜘蛛插件发现谷歌蜘蛛来得比较多!

所以直接给屏蔽了谷歌蜘蛛,今天发现网站速度打开块很多了!

服务器负载也接近空载在跑

https://www.108pc。Com/

有大哥帮我看看我这robots有没有写错呀!

我怕万一写错将百度等蜘蛛屏蔽了那就gg了!

#
# robots.txt for Discuz! X3
#
User-agent: Googlebot
Disallow: /

User-agent: *
Allow: /data/attachment/
Allow: /data/cache/
Allow: /uc_server/data/avatar/
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/default/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*
追加问题
    6 人参与回答

没有问题

三九问答
三九问答 · 专业的有问必答平台

其实控制一下抓取量就好了

可以升级下配置 谷歌收录了说不定也有流量

胡汉三
胡汉三 · 上海沈泉泵阀公司

额,是的,谷歌蜘蛛是最勤快的

华杰东方 品质家装
华杰东方 · 央联美食——预制菜 打造“中国健康新餐饮、智慧新生活”

网站打开的速度跟蜘蛛有关系吗,蜘蛛爬不爬行会影响网站打开速度

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、Robots百度站长那下面有检测,可以自行输入URL,看看是否被屏蔽;

2、百度站长抓取诊断也可以检测是否可以正常被抓取爬行;

3、你的robots里面,并未屏蔽百度蜘蛛,没有问题。