禁止蜘蛛抓取pdf文件是这么写吗？怎么屏蔽别人恶意做外链，网站被丢蜘蛛池，崩溃 悬赏1元 已结束
<p>问题一：请问禁止蜘蛛抓取pdf文件是这么写吗？</p><p>User-agent: *<br></p><p>Disallow: .pdf$</p><p><br></p><p>问题二：网站之前中过毒，3个月前，后来换了服务器，内部已经处理好了。但是网站被丢到蜘蛛池了，大量不存在链接指向网站，百度一直在抓取，然后返回404页面。这些路径都是不规律的。原本以为过一点时间会没有，相反越来越多，已经过去三个月了，百度天天来抓这些垃圾页面根部不存在，谁有解决办法</p><p><br></p><p><br></p><p><br></p>
<p><b>一、Robots格式参考：看完下面那个你应该就会编写了</b></p><p>1、禁止访问网站中所有的动态页面
</p><p>User-agent: *
</p><p>Disallow: /?
</p><p>2、 禁止Baiduspider抓取网站上所有图片
</p><p>仅允许抓取网页，禁止抓取任何图片。
</p><p>User-agent: Baiduspider
</p><p>Disallow: /.jpg$
</p><p>Disallow: /.jpeg$
</p><p>Disallow: /.gif$
</p><p>Disallow: /.png$
</p><p>Disallow: /.bmp$
</p><p>3、仅允许Baiduspider抓取网页和.gif格式图片
</p><p>允许抓取网页和gif格式图片，不允许抓取其他格式图片
</p><p>User-agent: Baiduspider
</p><p>Allow: /.gif$
</p><p>Disallow: /.jpg$
</p><p>Disallow: /.jpeg$
</p><p>Disallow: /.png$
</p><p>Disallow: /.bmp$
</p><p>4、仅禁止Baiduspider抓取.jpg格式图片
</p><p>User-agent: Baiduspider
</p><p>Disallow: /*.jpg$</p><p><b>二、以下思考可参考</b></p><p>1、这些被百度一直抓取的URL收录没？；</p><p>2、恶意的外链导致蜘蛛一直来抓取，这个百度已无外链拒绝功能，如果是垃圾外链可自行忽略；</p><p>3、针对站点被黑导致这类问题，建议可去百度站长反馈下，看看官方有无合理的解决方案推荐；</p><p>4、网站服务器更换了，百度站长是否重新验证；</p><p></p><p>5、你这个问题跟上面外贸一个站，他是被快照劫持，生成大量垃圾日文页面被谷歌收录，搜索引擎也会具备识别功能，是404他们也不会抓取和收录的，收录了，就去提交404。</p><p>看是否收录、去反馈下。</p><p><br></p>
