搜外网>搜外问答>问答页面

禁止蜘蛛抓取pdf文件是这么写吗?怎么屏蔽别人恶意做外链,网站被丢蜘蛛池,崩溃 悬赏1元 已结束

<p>问题一:请问禁止蜘蛛抓取pdf文件是这么写吗?</p><p>User-agent: *<br></p><p>Disallow: .pdf$</p><p><br></p><p>问题二:网站之前中过毒,3个月前,后来换了服务器,内部已经处理好了。但是网站被丢到蜘蛛池了,大量不存在链接指向网站,百度一直在抓取,然后返回404页面。这些路径都是不规律的。原本以为过一点时间会没有,相反越来越多,已经过去三个月了,百度天天来抓这些垃圾页面根部不存在,谁有解决办法</p><p><br></p><p><br></p><p><br></p>

追加问题
    4 人参与回答
蜘蛛池出租 等 1 人赞同该回答

还是别上蜘蛛池

蜘蛛池出租 等 1 人赞同该回答

找个专业的技术帮你写一下

蜘蛛池出租 等 1 人赞同该回答

顶一顶 学习下

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

<p><b>一、Robots格式参考:看完下面那个你应该就会编写了</b></p><p>1、禁止访问网站中所有的动态页面
</p><p>User-agent: *
</p><p>Disallow: /?
</p><p>2、 禁止Baiduspider抓取网站上所有图片
</p><p>仅允许抓取网页,禁止抓取任何图片。
</p><p>User-agent: Baiduspider
</p><p>Disallow: /.jpg$
</p><p>Disallow: /
.jpeg$
</p><p>Disallow: /.gif$
</p><p>Disallow: /
.png$
</p><p>Disallow: /.bmp$
</p><p>3、仅允许Baiduspider抓取网页和.gif格式图片
</p><p>允许抓取网页和gif格式图片,不允许抓取其他格式图片
</p><p>User-agent: Baiduspider
</p><p>Allow: /
.gif$
</p><p>Disallow: /.jpg$
</p><p>Disallow: /
.jpeg$
</p><p>Disallow: /.png$
</p><p>Disallow: /
.bmp$
</p><p>4、仅禁止Baiduspider抓取.jpg格式图片
</p><p>User-agent: Baiduspider
</p><p>Disallow: /*.jpg$</p><p><b>二、以下思考可参考</b></p><p>1、这些被百度一直抓取的URL收录没?;</p><p>2、恶意的外链导致蜘蛛一直来抓取,这个百度已无外链拒绝功能,如果是垃圾外链可自行忽略;</p><p>3、针对站点被黑导致这类问题,建议可去百度站长反馈下,看看官方有无合理的解决方案推荐;</p><p>4、网站服务器更换了,百度站长是否重新验证;</p><p></p><p>5、你这个问题跟上面外贸一个站,他是被快照劫持,生成大量垃圾日文页面被谷歌收录,搜索引擎也会具备识别功能,是404他们也不会抓取和收录的,收录了,就去提交404。</p><p>看是否收录、去反馈下。</p><p><br></p>

SEO培训招生中
188