搜外网>搜外问答>问答页面

搜狗蜘蛛总是去爬网站不存在的url地址 悬赏3元 已结束

WordPress站点,发现搜狗的蜘蛛总是非常二的去爬不存在地址,我设置了固定链接www.aaa.com/%post_id%.html,但是搜狗总去/?p=108023162和archives/108023162.html。应该怎么办,在线等,下面是爬的日志。


Line 12952: 106.38.241.184 - - [15/Dec/2018:09:15:37 +0800] "GET /?p=108023162 HTTP/1.1" 404 16130 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

Line 12952: 106.38.241.184 - - [15/Dec/2018:09:15:37 +0800] "GET /?p=108023162 HTTP/1.1" 404 16130 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

追加问题
    9 人参与回答
王小康
王小康 · 不专业的seo优化人员

地址比较规则的Robots屏蔽,同时添加404页面就可以

Robots屏蔽下,让它不要爬就行了

崔家大院
崔家大院 · 网站诊断、建站、快速排名

这个不管 做个404 能够返回就可以了

黄勇
黄勇 · SEO需要的是结果,过程再完美也是没有价值的!

Robots禁掉这个不存在的URL

这个是正常的,只要网站有蜘蛛来就可以了,每天定时更新

祖传优化
祖传优化 · 从业互联网8年:SEO/SEM/媒体广告,免费咨询合作【微信:13959853105】

1、添加Robots文件,内容格式可以参考百度站长规则

2、建议从服务器上面把服务器日志下载下来,用爱站服务器日志分析,能清楚的看到抓取量,抓取页面,停留时间,等数据。

3、如果屏蔽了还是会怕不存在的页面的话就做个404页面,这样就不会导致流量跟蜘蛛的流失。

如果您对我的回答满意,望采纳为最佳答案

他爬就让他去爬,爬够了就不去爬了...额。

禁止蜘蛛爬啊

施先生
施先生 · 资深的SEO/SEM工作者和管理者

。。你看看源代码里面有没有  FTP文件夹里面

SEO培训招生中
188