搜外网>搜外问答>问答页面

各大搜索引擎蜘蛛都指着网站的登录后台目录和系统文件目录抓取

微信

打开网站日志看了下，谷歌、百度蜘蛛都疯狂在抓去网站的登录后台目录和系统文件目录，文章目录反而抓取量很少，这是什么情况的？需要做屏蔽吗？

网站日志百度蜘蛛文章索引

本帖由用户发布，如有侵权联系删除 2024-08-28 发布703 次浏览

举报

交换友情链接，就用搜外友链，方便！

3 人参与回答

用户222064

可以在Robots.txt文件添加规则不给捉取