神马搜索的蜘蛛yisouspider怎么屏蔽！ 悬赏8元 已结束
<p>目前已经把神马搜索的站长工具配置文件删掉！</p><p>但是服务器占用一直居高不下</p><p>大量IP不停的以万次的速度访问网站！</p><p>真是搞崩溃了，求高手解答！</p><p>堪比CC攻击啊！！！</p><p>屏蔽IP感觉就是无底洞，屏蔽一个来一堆！</p><p>真是崩溃了！！求解答！</p><p><br></p>
30 人参与回答
最佳回答
加载更多
权重蜘蛛-池出租 等 1 人赞同该回答
<p><b>Robots拒绝神马访问如何可根据需求操作；
</b></p><p>1、完全禁止抓取
</p><p>User-agent: yisouspider
</p><p>Disallow: /
</p><p>2、禁止抓取某个目录
</p><p>User-agent: yisouspider
</p><p>Disallow: /xxx</p><p>3、神马抓取的都是正常的网页还是什么，网页的话有助于收录提升。</p><p>4、看下这篇文章：服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站</p><p>地址：https ： // zhangge . net / 4458 . html 【可以自己缩进 或者搜索标题看】</p><p><br></p>
权重蜘蛛-池出租 等 1 人赞同该回答
为什么要屏蔽，最好别去屏蔽，如果因为蜘蛛过多可以去调整或者升级服务器
可能被公鸡了
