搜外网>搜外问答>问答页面

搜狗蜘蛛总是去爬网站不存在的url地址悬赏3元已结束

微信

WordPress站点，发现搜狗的蜘蛛总是非常二的去爬不存在地址，我设置了固定链接www.aaa.com/%post_id%.html，但是搜狗总去/?p=108023162和archives/108023162.html。应该怎么办，在线等，下面是爬的日志。

Line 12952: 106.38.241.184 - - [15/Dec/2018:09:15:37 +0800] "GET /?p=108023162 HTTP/1.1" 404 16130 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

搜狗 WordPress 404 举报 本帖由用户发布，如有侵权联系删除 2018-12-15 发布6,222 次浏览

交换友情链接，就用搜外友链，方便！

9 人参与回答

王小康 · 不专业的seo优化人员

地址比较规则的Robots屏蔽，同时添加404页面就可以

考易达教育

Robots屏蔽下，让它不要爬就行了

崔家大院 · 网站诊断、建站、快速排名

这个不管做个404 能够返回就可以了

黄勇 · SEO需要的是结果，过程再完美也是没有价值的！

Robots禁掉这个不存在的URL

芒果太忙

这个是正常的，只要网站有蜘蛛来就可以了，每天定时更新

祖传优化 · 从业互联网8年:SEO/SEM/媒体广告，免费咨询合作【微信：13959853105】

1、添加Robots文件，内容格式可以参考百度站长规则

2、建议从服务器上面把服务器日志下载下来，用爱站服务器日志分析，能清楚的看到抓取量，抓取页面，停留时间，等数据。

3、如果屏蔽了还是会怕不存在的页面的话就做个404页面，这样就不会导致流量跟蜘蛛的流失。

如果您对我的回答满意，望采纳为最佳答案