Robots支持多大的规格 我这么写对吗 上千的**页面被百度蜘蛛每天重复爬 悬赏2元 已结束

Robots支持多大的规格 我这么写对吗 上千的被挂代码垃圾页面删除后还是被百度蜘蛛每天重复爬

<div class="aw-comment-upload-img-list active">
<a href="http://ask.seowhy.com/uploads/questions/20161115/c2ba6e1d27765163bded368b8cac5721.png" target="_blank" data-fancybox-group="thumb" rel="lightbox"><img src="http://ask.seowhy.com/uploads/questions/20161115/c2ba6e1d27765163bded368b8cac5721.png" class="img-polaroid" title="" alt="" /></a>
</div>

这些垃圾页面相同的地方在于帖子ID就是那串数字都是8位数 到9位数
而我正常的帖子才5位数

<div class="aw-comment-upload-img-list active">
<a href="http://ask.seowhy.com/uploads/questions/20161115/233af2118a235af851987dfe018f35fc.png" target="_blank" data-fancybox-group="thumb" rel="lightbox"><img src="http://ask.seowhy.com/uploads/questions/20161115/233af2118a235af851987dfe018f35fc.png" class="img-polaroid" title="" alt="" /></a>
</div>

我这么禁用爬虫对吗

<div class="aw-comment-upload-img-list active">
<a href="http://ask.seowhy.com/uploads/questions/20161115/a0bc13dea5332382283edccc395f61da.png" target="_blank" data-fancybox-group="thumb" rel="lightbox"><img src="http://ask.seowhy.com/uploads/questions/20161115/a0bc13dea5332382283edccc395f61da.png" class="img-polaroid" title="" alt="" /></a>
</div>

我把上千条禁用后 大小已经有58KB了

<div class="aw-comment-upload-img-list active">
<a href="http://ask.seowhy.com/uploads/questions/20161115/59f213d011212816643dc5ceb4677ceb.png" target="_blank" data-fancybox-group="thumb" rel="lightbox"><img src="http://ask.seowhy.com/uploads/questions/20161115/59f213d011212816643dc5ceb4677ceb.png" class="img-polaroid" title="" alt="" /></a>
</div>

写成通配符 怎么写呢 ?能帮给个实例吗 我不懂 谢谢
不能用通配符的话 怎么处理呢 百度每天一直重复抓取上千个这样的垃圾页面

追加问题
分享到微信 收藏
    7 人参与回答
最佳回答
姜东常州
姜东常州 · 承接快速排名服务,上线收费不上线不收费,品质保证,qq:839729861

页面被删打不开后建议你提交404页面,只有链接有规则才能写通配符,没有规则也只能这么写。
你可以先看下这些被反复抓取的页面是不是还是有快照在百度上,另外最好把页面全部做下快照投诉,更新这些快照,一直抓取是因为百度认为这些暂时打不开,实际库中还是有这些页面存在

可乐先生
可乐先生 · 7年网站运营经验 交流分享请加QQ群 71378882

直接写成通配符

黑桃
黑桃 · 6年推广实战,4年SEO实战,3年竞价操作

对于这类我的处理方法是,先去百度站长工具提交,然后更改Robots文件,写上允许爬行的,其余就全部禁止咯

挂马的垃圾页面找出和正常页面不同的地方,然后根据规律,用*通配禁止爬行

DZ的程序是么好的通配符禁止的

無常一生
無常一生 · 提供网站建设、网站推广、营销策划、微商城、三级分销、拓客商城、多网合一商城、APP开发,ERP定制等服务。

这种情况没办法用通配符,会影响到该目录正常页面

陶然
陶然 · 乐村淘 SEO主管 SEO经验2009年起

还有一个方法,将原来的文章链接修改地址,提交改版后,等替换过来后将源目录进行屏蔽。但是时间上会不短。仅做参考

柳海
柳海 · 80后,SEO/SEM爱好者,V信:hai-world

首先解决垃圾页面问题(直接删除非法内容)。然后重新提交搜索引擎。同时想搜索引擎提交申诉。

张玮
张玮 · 渣渣seo,QQ 2825532608

很简单,百度站长工具后台提交 被你删除的那些url 然后等待百度识别之后就不会再次抓取了!!!!