搜外网>搜外问答>问答页面

网站后台文件需要限制蜘蛛抓取吗

微信

每天查看日志发现抓取了很多后台文件，有的文件还是死链  需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2022-03-15 发布308 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    7 人参与回答
.
.

需要的，多发外链吸引蜘蛛

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
几何城市
几何城市 · 城市家具·城市街具·公共艺术·创意·设计·生产制造全产业链。

肯定要限制的

2 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
素材网
素材网 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

多发外链吸引蜘蛛

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
三九问答
三九问答 · 专业的有问必答平台

不需要，后台文件抓取干什么？

2 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
金榜
金榜

基本上都是有限制的

2 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
12365信息网
12365 · 12365信息网-生活帮助知识库

肯定要限制的

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
木笙
木笙 · 职校招生咨询 职校招生动态 职校招生资料

后台哪些文件需要限制蜘蛛抓取

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 网站日志蜘蛛爬取最多的是/news/content/目录，但网站打开这个目录是404
  • 新站多久通过百度审核期状态？
  • 大家的站点百度拉闸了吗？
  • 百度蜘蛛抓取不页面不正常怎么办？
  • 白帽怎么快速增加权重？
  • 头条号作品修改编辑还有推荐吗？
  • 搜外滴滴友情链接怎么交换成功要什么条件？
  • 掉了很多外链收录是不是会影响官网关键词排名
  • 百度未收录的文章怎么处理更好？
  • 网站改版要不要开启闭站保护？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司