搜外网>搜外问答>问答页面

robots文件有什么作用？

微信

网站没有弄robots文件，没事吧？

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2020-08-03 发布790 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    16 人参与回答
绝版黑色
绝版黑色

我感觉没啥用。

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
第一际科技产业园
第一际科技 · 上海园区招商免费注册公司 免费代理记账

提示蜘蛛 聊胜于无

3 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
享受生活
享受生活

提示蜘蛛哪些可以抓取哪些不可以

3 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
痫
痫

没事的

3 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
麦田
麦田

感觉没啥用  不让抓取的也抓

3 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
leeydls
leeyd · 佛系佛系，排名随缘，收录随缘，转化随缘

如果没有要禁止蜘蛛访问的目录就没啥用，不过看蜘蛛访问老是404，我就添加了个上去，顺带将Sitemap地址放上去

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
钢管厂家
钢管厂家 · 专业加工螺旋钢管、直缝钢管，无缝钢管，加工防腐钢管、保温钢管、涂塑钢管，加工销售镀锌钢管，钢护筒

给蜘蛛指路的，告诉他哪些可以收录,保护网站。给蜘蛛指路的，告诉他哪些可以收录，哪些不能收入，因为蜘蛛进网站首先访问的就是Robots，在里面加上网站地图会有更好的效果

3 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
三个六
三个六

Robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

3 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
全速投票
全速投票

只要不禁止收录就行了，其他没啥

3 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
仰望星空
仰望星空 · 无人机品牌、无人机价格、无人机表演

给蜘蛛指路的，告诉他哪些可以收录,保护网站

3 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
西接拉阿木丿
西接拉阿木 · 那木西撇，色拉恩子，做一个佛系SEO，谢谢大佬来互点刷点访问量，有点必回

作用不大

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
闪赚客
闪赚客 · 致力于分享手机赚钱软件丨手机赚钱项目

给蜘蛛指路的，告诉他哪些可以收录，哪些不能收入，因为蜘蛛进网站首先访问的就是Robots，在里面加上网站地图会有更好的效果

3 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
szh142323
szh14

作用不大

3 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
努力搬砖
努力搬砖

这个没啥作用

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
加载更多
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 站长平台索引数据不准确？
  • 百度seo优化的重点是什么？
  • 收录索引都涨了，流量比上个月少了几倍，啥子问题？
  • 百度的sitemap支持哪些格式？
  • 什么样的网页会被百度认为是没有价值而不被百度收录？
  • 网站图片怎么添加alt属性？
  • 老域名为啥会排名好？
  • 新站引蜘蛛的外联渠道都有哪些？
  • 绝望了，网站都快一年了，反链一条都没有，收录近一年也都没有
  • 怎样查看网站哪些文章被百度收录？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司