建立的网站，结果一个页面，两个url都能打开 悬赏8元 已结束
小弟建站时间不长，因为url配置不当，最近出现了个问题，希望可以帮助一下
简单说就是好几个页面，两个url都能打开
一个是伪静态url，另一个是那种带?之类的动态url
我网上找了下，说是这样对权重不好
我想问下
1，我想屏蔽掉蜘蛛对动态url的抓取，只能让蜘蛛抓取这个伪静态的url，怎么去做
2，我知道robot.txt可以屏蔽，但是这个法子，一些蜘蛛可能并不遵循，因为我是vps里面建的，使用的是lnmp,
所以，lnmp应该怎么屏蔽
另外，关于那个动态url的问题，我这里有个地方不明白
3，是不是动态URL里面那个?之类的符号越多，蜘蛛就越难抓取到
4，我看很多网站的链接url里面有比如：www.abc.com/cat/之类，这个cat是干啥的？
谢谢，问题比较多，
去提交删除动态页面的快照。
<p>Robots禁止动态页面还是很不错的，你说的有些蜘蛛不遵循，那是垃圾蜘蛛，想百度、360、谷歌和搜狗这些大型的搜索引擎，都会遵循robots协议的，所以关于有些蜘蛛不遵循的问题你多虑了。</p><p>1、如果用robots文件屏蔽动态链接，在你根目录下创建一个robots.txt文件，文件里面的内容是</p><pre>User-agent: *
Disallow: /?</pre><p>不管你用的lnmp还是什么，找到根目录上传这个robots文件就可以。另外百度站长后台是可以检测这个的，如下图：</p><p><br></p><p><br></p><p><br></p><p>2、百度现在也能抓取动态链接，只是百度抓取静态页面的效果要好一些，另外用户看着静态页面也舒服。</p><p>3、网站有一个cat之类的，其实想这种的，大部分应该是用的WordPress程序，这个目录在后台是可以取消的。他们没取消，那是优化的问题。如果你也遇到这个，我建议你也取消，对优化是有好处的</p><p><br></p>
