搜外网>搜外问答>问答页面

请问，如何设置网站robots文件？悬赏1元已结束

微信

问题如下：

例如有网站www.abc.com，有www.abc.com/news?_bd=225 和www.abc.com/news两个链接，我想让蜘蛛抓取www.abc.com/news里面的内容，而不想让蜘蛛抓取www.abc.com/news?_bd=225这个内容，应该如何设置robots文件呢？

求大神指教！！！

Robots 举报 本帖由用户发布，如有侵权联系删除 2021-12-13 发布632 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

10 人参与回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

SunShine 等 1 人赞同该回答

1、网站内部不要给？xxx这样的URL有通道，蜘蛛抓取不到，也就不会被收录；

2、网站明确是全都是静态类，无动态URL，不需要？xxx这类URL被抓取，那么可屏蔽动态URL；

ps：Disallow: /*?*

这个是屏蔽动态，但是如果你网站里面有tag，或者其他页面是动态也会被屏蔽，因此使用这个要小心些，一般站内不留通道，影响不大，也无须可以屏蔽。

文东

如果是所有动态链接都不想被抓取的话写
Disallow: /?
Disallow: *?_bd=225

风清扬

站长工具里就有一键生成的

阿虾

allow disallow这些，网上搜搜

1 3

bd一下Robots协议

十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

这个真不是很清楚~

梦幻雪

bd一下Robots协议

天朋 · 入行8年，企业站，建站，百度谷歌seo，sem，电商运营

Disallow:/news?*

或者

Disallow:/news?_bd=*

自由的小黄 · 说说跨境电商选品那些事儿

@推推蛙老师

sww

写：disallow /