搜外网>搜外问答>问答页面

蜘蛛抓取动态页面怎么处理呢?

请教一个问题,做了伪静态,为什么蜘蛛抓取的都是动态页面,以前是动态的现在已经改伪静态了,蜘蛛抓取不正常咋回事?怎么解决这个问题各位大佬们有什么方法?

追加问题
    5 人参与回答

Robots文件里设置一下

胡汉三
胡汉三 · 上海沈泉泵阀公司

可以去设置的啊

Robots文件里设置一下

HWAPº
HWAPº · 网站权6,友情链接QQ:2544424184

1、做301重定向,将动态页面重定向到伪静态页面
2、如果觉得麻烦,就在Robots文件里禁止动态页面的抓取