搜外网>搜外问答>问答页面

请问，如何设置网站robots文件？悬赏1元已结束

微信

问题如下：

例如有网站www.abc.com，有www.abc.com/news?_bd=225 和www.abc.com/news两个链接，我想让蜘蛛抓取www.abc.com/news里面的内容，而不想让蜘蛛抓取www.abc.com/news?_bd=225这个内容，应该如何设置robots文件呢？

求大神指教！！！

Robots

本帖由用户发布，如有侵权联系删除 2021-12-13 发布786 次浏览

举报

交换友情链接，就用搜外友链，方便！

10 人参与回答

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

用户193277 等 1 人赞同该回答

1、网站内部不要给？xxx这样的URL有通道，蜘蛛抓取不到，也就不会被收录；

2、网站明确是全都是静态类，无动态URL，不需要？xxx这类URL被抓取，那么可屏蔽动态URL；

ps：Disallow: /*?*

这个是屏蔽动态，但是如果你网站里面有tag，或者其他页面是动态也会被屏蔽，因此使用这个要小心些，一般站内不留通道，影响不大，也无须可以屏蔽。

用户69293

如果是所有动态链接都不想被抓取的话写
Disallow: /?
Disallow: *?_bd=225

用户204460

站长工具里就有一键生成的

用户174258

allow disallow这些，网上搜搜

用户205931

bd一下Robots协议

用户201383 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

这个真不是很清楚~

用户203821

bd一下Robots协议

用户185860 · 入行8年，企业站，建站，百度谷歌seo，sem，电商运营

Disallow:/news?*

或者

Disallow:/news?_bd=*

用户200375 · 说说跨境电商选品那些事儿

@推推蛙老师

用户208163

写：disallow /