蜘蛛不来网站抓取页面怎么回事？
蜘蛛已经不来网站抓取页面了，怎么提高蜘蛛抓取次数让蜘蛛来网站，我需要怎么引导蜘蛛，蜘蛛有一个星期不来页面抓取，之前是正常的就是最近突然就不来了，引导蜘蛛有什么办法？
4 人参与回答
如果出现了搜索引擎蜘蛛不爬取网站的情况还需要检查一下Robots文件是否书写错误，是不是屏蔽了搜索引擎蜘蛛。
下面是一些常见的robots文件写法：
- 禁止所有搜索引擎蜘蛛访问网站的任何部分：
User-agent:*
Disallow:/
- 允许所有搜索引擎蜘蛛访问网站的任何部分：
User-agent:*
Allow:/
- 仅禁止baiduspider访问您的网站：
User-agent:Baiduspider
Disallow:/
- 仅允许baiduspider以及googlebot访问：
User-agent:Baiduspider
Allow:/
User-agent:Googlebot
Allow:/
User-agent:*
Disallow:/
多发发内容 发内容也要有规律
多发发内容 发内容也要有规律
