搜外网>搜外问答>问答页面

robots协议具体不让蜘蛛抓取哪些页面？

微信

一般不让蜘蛛抓取哪些页面？求解答

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2021-08-23 发布545 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    5 人参与回答
best
best · 朗速erp
我的微信:sec_vip 等 1 人赞同该回答

不关乎收录的文件都禁了

2 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
香港服务器租用
香港服务器 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用
我的微信:sec_vip 等 1 人赞同该回答

都可以设置

具体看你怎么设置
可以去百度站长平台看看相关的

2 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
罗凌峰
罗凌峰
我的微信:sec_vip 等 1 人赞同该回答

Robots封禁的都会被禁止抓取

2 年前
IP属地：天津
赞同 1 评论 0
收藏 举报
评论取消
磁共振检查
磁共振检查 · 磁共振检查-深圳磁共振-华影门诊部
我的微信:sec_vip 等 1 人赞同该回答

不让它抓一些动态页面跟无关紧要的

2 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
可乐
可乐 · 电气防爆检测
我的微信:sec_vip 等 1 人赞同该回答

看你用的CMS是什么，然后上百度一搜一大把！！！

2 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 这个网站还有救没有
  • 高质量的外链哪里找？
  • 我感觉我之前的外链都白发了
  • 求助：这个站怎么优化啊，急急急，谢谢各位大佬！
  • 织梦地区分站还能做吗
  • 改一下标题算伪原创吗？
  • 网站权重和哪些因素有关
  • 网站多久能收录呢，每天更新几篇文章好呢
  • 建站6个月收录、快照不正常(内详)，这是什么情况?急急如律令!
  • 网站有更新，近一个月没有抓取是怎么回事
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司