阻碍网站内容被蜘蛛抓取的原因有哪些?

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

梅术

应该不是设置问题，是你的优化问题。

Answer 2

南极

看看Robots是否写正确还有就网站内容质量了

Answer 3

美伦教育 · 美伦教育，让学习更简单！

除了Robots协议之外，再看看你网站配置文件有没有这行：

禁止 Scrapy 等工具的抓取

if ($http_user_agent ~* (Scrapy|Curl|HttpClient|sogou|baidu|googlebot)) {
return 403;

上面就是禁止了搜狗百度谷歌和一些无用爬虫返回403，一般是只写Scrapy|Curl|HttpClient这三个就行了

Answer 4

三九问答 · 专业的有问必答平台

内容质量不高，继续加油

Answer 5

曾经的你

查看自己网站的Robots协议中是否有禁止蜘蛛抓取内容，，，网站内容连接上是否加了Nofollow标签