搜外网>搜外问答>问答页面

大佬，这个有没问题，不说网站不能有robots吗？ 悬赏1元 已结束

微信

<p></p>

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2022-03-03 发布628 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    14 人参与回答
简单
简单

就这种吧应该的

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
猫腻
猫腻

Robots这个最好是要有的，是用来告诉搜索引擎哪些可以抓取

2 年前
IP属地：广西
赞同 0 评论 0
收藏 举报
评论取消
十六夜
十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

你这个屏蔽的是不是太多了啊，正常来说没这么多啊

2 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
Air
Air

Robots就是你网站给蜘蛛定的规矩，告诉蜘蛛哪些页面能抓，哪些页面不能抓。disallow后面才是禁止的，比如一些你不希望蜘蛛爬取的页面，可以用这个规则告诉蜘蛛别去抓。

2 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
AA广告投影灯厂家 阿拉丁
AA广告投

正常的，可以正常抓取不影响

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
互联网推广公司
互联网推广

这个是正常的，没有问题

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
PE管厂家
PE管厂家 · pe管生产厂家18956729555，专业生产pe给水管、钢丝网骨架复合管、mpp电力管、燃气管、ppr管

Robots txt是个文件，文件里可以禁止蜘蛛访问，也可以不禁止访问。
当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
如果没有这个文件，默认蜘蛛是可以直接访问的！

2 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
杭州继保
杭州继保 · 微机保护行业

肯定要有的啊

2 年前
IP属地：中国
赞同 0 评论 0
收藏 举报
评论取消
天天文库
天天文库 · 百科文档知识平台-天天文库

你添加在哪里，那么那个页面蜘蛛就抓不了

2 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
雅道
雅道

没有的话，等于什么都可以抓取

2 年前
IP属地：江西
赞同 0 评论 0
收藏 举报
评论取消
与故里.
与故里.

肯定要有的啊

2 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
MDL
MDL · 法律快车，权重6，友情链接QQ：1399332818

Robots只是个文件，主要看内容是什么

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
晴天33i
晴天33i · 新项目-24小时托管脚本游戏等，找我免费体验

Robots是一个文件，文件里的内容才是关键

2 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、网站Robots可以disallow屏蔽不想被蜘蛛抓取爬行的页面；

2、网站里面可以存在robots文件，不建议整站封禁屏蔽，不想被抓取收录的可考虑封禁。

2 年前
IP属地：天津
赞同 0 评论 14
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 网站优化包括对什么优化 网站优化具体内容有哪些
  • 高质量外链怎么做 如何做高质量外链
  • url没有被收录，但是搜索关键词却可以搜索到是怎么回事？
  • 百度快速上排名怎么做的 网站优化基本技巧
  • 搜运费这种如何排名和收录才能做起来
  • 宝塔mysql为何始终处于关闭状态
  • 必应今天中午到现在没有来抓取过，今天之前一直都有抓取
  • 索引一直在掉是什么原因
  • 我之前解析了一个m.的域名，现在移动端关键词排名都跑这个域名下了
  • 企业站点如何提高留存率（降低退出率）？
    • SEO培训招生中
    190
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司