搜外网>搜外问答>问答页面

请问这种情况该如何设置robots文件？悬赏3元已结束

微信

这个网站，比如 http://www.qiuxue88.com/pages_13/[?]是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/[?][?]

也就是 www.qiuxue88.com/pages_13/[?] ---关于我们

并且有很多类似的页面，现在就是怕被百度判定为作弊，该如何设置robots文件呢？

我的想法是： User-agent *

Disallow: /* ？* 这样写，请问对不对呢？如果不对，该如何正确书写呢？

Robots Nofollow 5118 举报 本帖由用户发布，如有侵权联系删除 2020-06-23 发布1,330 次浏览

10 人参与回答

最佳回答

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

权重蜘蛛-池出租等 1 人赞同该回答

1、你要是站点有用的只留静态页面，这样屏蔽全部动态URL可操作；2、屏蔽蜘蛛抓取任何动态URLUser-agent: Disallow: /?*3、查看Robots是否生效，可以去百度站长抓取诊断下，看看动态URL是否已屏蔽不被抓取；注：确定你的网页不需要动态URL收录，那么屏蔽全部动态可行

瑞博橡胶

权重蜘蛛-池出租等 1 人赞同该回答

静静聆听大佬们发言

Harry

权重蜘蛛-池出租等 1 人赞同该回答

对，你做的是正确的。动态页面就不要让蜘蛛抓了。

我叫猫先生 · 谷歌海外推推广

对的，另外在每个页面再加一个canonical标签

可以的，设置吧

对，没啥问题

收录宝