搜外网>搜外问答>问答页面

请问这种情况该如何设置robots文件? 悬赏3元 已结束

这个网站,比如  http://www.qiuxue88.com/pages_13/[?]是关于我们栏目,但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/[?][?]

也就是 www.qiuxue88.com/pages_13/[?]        ---关于我们

            www.qiuxue88.com/?pages_13/[?][?]     -----指向首页

并且有很多类似的页面,现在就是怕被百度判定为作弊,该如何设置robots文件呢?

我的想法是:  User-agent *

                       Disallow:  /* ?*          这样写,请问对不对呢?如果不对,该如何正确书写呢?

追加问题
    10 人参与回答
最佳回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo
权重蜘蛛-池出租 等 1 人赞同该回答

1、你要是站点有用的只留静态页面,这样屏蔽全部动态URL可操作;

2、屏蔽蜘蛛抓取任何动态URL

User-agent: *

Disallow: /*?*

3、查看Robots是否生效,可以去百度站长抓取诊断下,看看动态URL是否已屏蔽不被抓取;

注:确定你的网页不需要动态URL收录,那么屏蔽全部动态可行

QQ截图20200623101642

权重蜘蛛-池出租 等 1 人赞同该回答

静静聆听大佬们发言

权重蜘蛛-池出租 等 1 人赞同该回答

对,你做的是正确的。动态页面就不要让蜘蛛抓了。

我叫猫先生
我叫猫先生 · 谷歌海外推推广

对的,另外在每个页面再加一个canonical标签

可以的,设置吧

对,没啥问题

SEO培训招生中
156