搜外网>搜外问答>问答页面

阻碍网站内容被蜘蛛抓取的原因有哪些?

微信

举报 本帖由用户发布，如有侵权联系删除 2022-05-24 发布654 次浏览

5 人参与回答

梅术

应该不是设置问题，是你的优化问题。

南极

看看Robots是否写正确还有就网站内容质量了

美伦教育 · 美伦教育，让学习更简单！

除了Robots协议之外，再看看你网站配置文件有没有这行：

禁止 Scrapy 等工具的抓取

if ($http_user_agent ~* (Scrapy|Curl|HttpClient|sogou|baidu|googlebot)) {
return 403;

上面就是禁止了搜狗百度谷歌和一些无用爬虫返回403，一般是只写Scrapy|Curl|HttpClient这三个就行了

三九问答 · 专业的有问必答平台

内容质量不高，继续加油

曾经的你

查看自己网站的Robots协议中是否有禁止蜘蛛抓取内容，，，网站内容连接上是否加了Nofollow标签