搜外网>搜外问答>问答页面

网站的接口老是被蜘蛛访问，需不需要写到robots协议里，禁止蜘蛛抓取呢？

微信
追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2020-09-25 发布567 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    5 人参与回答
你我皆凡人
你我皆凡人 · 小团队创业型，一直在失败，一直在向前努力

 有的搜索引擎不规矩，禁止了一样爬去，很麻烦

3 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
WoChen
WoChe

嗯，直接禁止就好了

3 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
三九问答
三九问答 · 专业的有问必答平台

无关的目录和文件建议写进去禁止爬

3 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
淋淋的脸
淋淋的脸

可以禁止的

3 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
Faith。
Faith

可以。禁止爬行。

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 排名一直没有上首页的关键词，什么原因
  • 网站内容质量不行被百度k了，要不要把低质量的链接一次性删除了提交死链
  • 这两天我的网站百度快照http都变成了https
  • 服务器上下行流量一秒几十兆是怎么回事？
  • 网站的权重值是如何一步一步提升的？和什么有关系呢？
  • 搜 老刘博客 只能搜索到首页快照，文章页没有，怎么优化？文章页每篇机会都有这个词“老刘博客”
  • 现在做下载站，谁有包更新的帝国cms源码？我买
  • 这个网站的关键词设置的难度指数大吗？
  • 网站关键词是聚合硫酸铁，前段时间排名上到首页，不过是内页。没保持半个月排名就掉到了第8页，如何恢复
  • 为什么网站关键词排名浮动很大，有什么方法能稳定下来
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司