搜外网>搜外问答>问答页面

关于robots屏蔽问题

怎屏蔽蜘蛛抓取这类链接?因为做了百度竞价,添加了追踪代码。最近发现有大量这类链接的抓取记录,要不要屏蔽。http://www.xinlihua99.com/product_sjzpvc.html?source=led%E4%BA%A7%E5%93%81%E8%AF%8DPC&plan=ledchanpinciPC&unit=wenhuaqiang[?](zhong)&keyword=shitangwenhuaqiang&e_matchtype=2&e_creative=51087779420&e_adposition=cl1&e_keywordid=291518888008&sdclkid=ALo6152sArD6bOopALA6

追加问题
    3 人参与回答
最佳回答

竞价肯定是为了被访问,禁止抓取肯定不合适,可以在网页增加canonical URL标签,把有追踪代码的链接都统一到主链接上,搜索引擎就不会认为是重复链接了
形如

使用Disallow: /?会屏蔽抓取首页吗

心之所向 素履以往
心之所向 · sem,seo,重庆鑫丽华广告有限公司

使用Disallow: /?会屏蔽抓取首页吗