搜外网>搜外问答>问答页面

提示：在静态页面上使用动态参数，会造成spider多次和重复抓取，怎么处理？

微信

这个网站，www.nbjingdu.com[?]
优化建议里面提示在静态页面上使用动态参数，会造成spider多次和重复抓取，我把提示的这几条网址写在robots文件里面禁止抓取有用吗？

Robots 优化建议举报 本帖由用户发布，如有侵权联系删除 2019-07-10 发布1,339 次浏览

1 人参与回答

水马围挡厂 · 【全国热线:13307197726】武汉君正亿达是专业生产水马厂家，提供水马围挡，路锥，防撞桶，隔离墩等系列产品！

应该有用吧

收录宝