搜外网>搜外问答>问答页面

蜘蛛日志大量抓网站不存在的页面如何处理?

蜘蛛日志大量抓网站不存在的zip、rar等不存在的文件和路径<p><br></p><p>死链有坚持提交,已经一周多了暂时无缓解,网站的抓取降了很多,请问有什么办法解决吗<br></p>

追加问题
    6 人参与回答

前来学习的,学习的非常认真

胡汉三
胡汉三 · 上海沈泉泵阀公司

看看大佬都是怎么回答的

武荣网络
武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

你这个应该不是抓取,应是扫你站点的,具体看下网站日志进行分析。

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

整理后提交死链删除或者设置Robots禁止抓取

利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

做个404页面即可,只要没被收录

免费收录网站
免费收录网 · 秒收录!快来免费提交你的网站,发布软文增加曝光吧!点击右边直达发布→→→→→

Robots里添加一下相关路径