你的页面没有带?的就不要影响收录
1、Robots封禁动态URL,那么蜘蛛不会抓取动态URL; 2、你的页面都是静态URL那么不会受到影响。
别的都不说,你先理解一下 “Disallow: /?” 的具体意思吧
Disallow: /? 这个是禁止抓取动态页面,也就是url中带有问号的页面。 如果你不希望收录动态页面,例如: 。如果你不想让收录上面带问号的网址,屏蔽没有任何影响。 如果有的带问号的网址还想让收录,你可以写个允许抓取的规则。
你这个数值表示的意思是: 所有带?的链接不收录
不要把所有东西都屏蔽了就行,只屏蔽不让抓取的就行
这个应该是屏蔽百度抓取动态链接,对别的链接没有应该的
让更多人参与回答