怎样让蜘蛛正常抓取不带参数的URL呢? 悬赏8元 已结束

网站(http://www.ceconline.com/[?])为了统计效果在URL里加了跟踪码,但是搜索引擎收录了带?的URL,没带?的反而没有收录,于是我在robots文件里加了Disallow:*?*,屏蔽掉动态链接,但是这样一来,蜘蛛就不抓取首页的链接了,严重影响抓取,请问有没有什么好的办法能解决这个问题呢?既可以统计到效果和来源,又可以让蜘蛛正常抓取不带参数的URL?

截图

追加问题
分享到微信 收藏
    3 人参与回答
狄枫
狄枫 · 只要努力,没有什么事情是做不到的。

方法不是没有,我觉得你这个跟踪代码很有问题,你的网站打开老是能够卡死点不了别的链接。

首先,你全站都在链接上加了这个跟踪代码的后缀,后果就是,将整站权重都转移到这个带?上去了,所以自然而然是收录带?的页面了。

如果你一定要用这个跟踪代码,那也没有关系,他收录带?的就让他收录好了,但是你得把不带?的301到带?上去,事实上对蜘蛛来讲,带?和不带?都是一个页面链接而已。

所以没有什么好担心的,解决方法我整理一下再说一遍

1.把不带参数的301到带参数上去

2.在网站加一个<link rel="canonical" href="带参数的网址"> 

这样就可以了,相当于重复页面的处理而已。放心吧。

雨人
雨人 · 黑枸杞等农产品营销

楼主的意思是不同的文章入口虽然产生的参数不一样,但最后指向了同一文章,你只想收录静态页面的那个,是这个意思吧。但我觉的百度能收录多个动态也不错啊,静态的那个早晚会收录的,为什么非要只收录静态的呢?

奋斗小青年
奋斗小青年 · 在这里希望用我所学的知识和经验去帮助更多的人吧!可以进群互相交流学习,QQ群:71378882

QQ截图20170627091047

QQ截图20170627091108

其实上面你的那个问题搞复杂了,没有必要在每一个链接上都加上跟踪数据,这样没什么用,你不如就在网站底部加一个cnzz或者百度统计代码,一样可以观看你的每个页面的点击情况,你在链接后缀加上跟踪代码不仅影响抓取收录,还影响网站的体验,建议赶紧把跟踪代码去掉;

1、看第一个图片你文章页的路径地址后缀,这样都是不利于收录的,正常应该是以html结尾的才对,例如xx.com/news/123.html;这种路径才是标准化的利于优化收录的路径;

2、看第二个图片随便点击一个内容都是这种动态获取而且路径特别长的都是有很严重的问题,所以上面跟你说的,把跟踪代码去掉,在网站底部加一个统计代码就可以,