Robots支持多大的规格 我这么写对吗 上千的**页面被百度蜘蛛每天重复爬

Robots支持多大的规格 我这么写对吗 上千的被挂代码垃圾页面删除后还是被百度蜘蛛每天重复爬






这些垃圾页面相同的地方在于帖子ID就是那串数字都是8位数 到9位数
而我正常的帖子才5位数






我这么禁用爬虫对吗






我把上千条禁用后 大小已经有58KB了






写成通配符 怎么写呢 ?能帮给个实例吗 我不懂 谢谢
不能用通配符的话 怎么处理呢 百度每天一直重复抓取上千个这样的垃圾页面
追加问题
关注问题 分享到微信 收藏
最佳回答
姜东常州 · 常州SEO,我在常州。擅长CMS站布局,将SEO工作流程化...

页面被删打不开后建议你提交404页面,只有链接有规则才能写通配符,没有规则也只能这么写。
你可以先看下这些被反复抓取的页面是不是还是有快照在百度上,另外最好把页面全部做下快照投诉,更新这些快照,一直抓取是因为百度认为这些暂时打不开,实际库中还是有这些页面存在

可乐先生 · 7年网站运营经验 QQ群:71378882

直接写成通配符

黑桃 · 6年推广实战,4年SEO实战,3年竞价操作

对于这类我的处理方法是,先去百度站长工具提交,然后更改robots文件,写上允许爬行的,其余就全部禁止咯

挂马的垃圾页面找出和正常页面不同的地方,然后根据规律,用*通配禁止爬行

DZ的程序是么好的通配符禁止的

無常一生 · 提供网站建设、网站推广、营销策划、微商城、三级分销、拓客商城、多网合一商城、APP开发,ERP定制等服务。

这种情况没办法用通配符,会影响到该目录正常页面

陶然 · 乐村淘 SEO主管 SEO经验2009年起

还有一个方法,将原来的文章链接修改地址,提交改版后,等替换过来后将源目录进行屏蔽。但是时间上会不短。仅做参考

柳海 · 80后,SEO/SEM爱好者,V信:hai-world

首先解决垃圾页面问题(直接删除非法内容)。然后重新提交搜索引擎。同时想搜索引擎提交申诉。

张玮 · 渣渣seo,QQ 2825532608

很简单,百度站长工具后台提交 被你删除的那些url 然后等待百度识别之后就不会再次抓取了!!!!