建立的网站,结果一个页面,两个url都能打开 悬赏8元 已结束

小弟建站时间不长,因为url配置不当,最近出现了个问题,希望可以帮助一下

简单说就是好几个页面,两个url都能打开

一个是伪静态url,另一个是那种带?之类的动态url

我网上找了下,说是这样对权重不好

我想问下

1,我想屏蔽掉蜘蛛对动态url的抓取,只能让蜘蛛抓取这个伪静态的url,怎么去做

2,我知道robot.txt可以屏蔽,但是这个法子,一些蜘蛛可能并不遵循,因为我是vps里面建的,使用的是lnmp,

所以,lnmp应该怎么屏蔽


另外,关于那个动态url的问题,我这里有个地方不明白

3,是不是动态URL里面那个?之类的符号越多,蜘蛛就越难抓取到

4,我看很多网站的链接url里面有比如:www.abc.com/cat/之类,这个cat是干啥的?


谢谢,问题比较多,

追加问题
分享到微信 收藏
    6 人参与回答
丁宇
丁宇 · 为梦想不断努力!总有朋友要我的联系方式,大家可以加我的Q:1084057080

问题一个一个的回答吧,有些描述的问题,其实不是很准确,不知道我的理解和你说的是否一样,还有问题再问吧

1、cat  这个是栏目的意思,网站域名指向的其实是程序的根目录,/cat/  是指这个根目录下面的cat文件夹

2、动态链接抓取问题,怎么说呢,除非你网站设置上有问题,否则现在没有太大的区别,现在整体技术都发展的很先进了。

3、robot.txt 这个和环境无关的,正确配置就好了。配置完成后,可以上网测试一下。

4、首先整体网站里,内链全部都是静态链接,不能出现动态链接。其次在robot这里,把所有的带?号的链接都禁止抓取。

大体就这些吧,改动之后,需要一段时间来进入正常状态

刘振勇
刘振勇 · 纹身图库wsjpg

Robots禁止动态页面还是很不错的,你说的有些蜘蛛不遵循,那是垃圾蜘蛛,想百度、360、谷歌和搜狗这些大型的搜索引擎,都会遵循robots协议的,所以关于有些蜘蛛不遵循的问题你多虑了。

1、如果用robots文件屏蔽动态链接,在你根目录下创建一个robots.txt文件,文件里面的内容是

User-agent: *
Disallow: /*?*

不管你用的lnmp还是什么,找到根目录上传这个robots文件就可以。另外百度站长后台是可以检测这个的,如下图:




2、百度现在也能抓取动态链接,只是百度抓取静态页面的效果要好一些,另外用户看着静态页面也舒服。

3、网站有一个cat之类的,其实想这种的,大部分应该是用的WordPress程序,这个目录在后台是可以取消的。他们没取消,那是优化的问题。如果你也遇到这个,我建议你也取消,对优化是有好处的


小小爬虫 · 孜孜不倦的网络爬虫,SEo、SEm丨终极追逐、践行与学习者!

楼上的说的,动态静态都一样, 

我不同意哦~

不要用thinkPHP之类的劣质框架开发的系统,不然很容易出现这种问题

你可以看下我的网站,也是新做的,伪静态的形式 51餐饮加盟网  www.cy51.com.cn 

/cat/  这种是人家的目录形式,想要去掉?  你就在访问的时候  让对应的直接跳转到伪静态或直接让404,只保留伪静态形式,比如:

www.cy51.com.cn/index.PHP?lanmu=dongtai&id=4920  跳转 www.cy51.com.cn/dongtai/4920  

小川
小川 · 擅长SEO、WEB前端领域。

去提交删除动态页面的快照。