搜外网>搜外问答>问答页面

robots文件有什么作用？

微信

网站没有弄robots文件，没事吧？

追加问题
Robots
本帖由用户发布，如有侵权联系删除  2020-08-03 发布1,068 次浏览
举报
其他问题
 
    16 人参与回答
用户166101

我感觉没啥用。

5 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户180082 · 上海园区招商免费注册公司 免费代理记账

提示蜘蛛 聊胜于无

5 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户176941

提示蜘蛛哪些可以抓取哪些不可以

5 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户171032

没事的

5 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
用户177257

感觉没啥用  不让抓取的也抓

5 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户144201 · 佛系佛系，排名随缘，收录随缘，转化随缘

如果没有要禁止蜘蛛访问的目录就没啥用，不过看蜘蛛访问老是404，我就添加了个上去，顺带将Sitemap地址放上去

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户88971 · 专业加工螺旋钢管、直缝钢管，无缝钢管，加工防腐钢管、保温钢管、涂塑钢管，加工销售镀锌钢管，钢护筒

给蜘蛛指路的，告诉他哪些可以收录,保护网站。给蜘蛛指路的，告诉他哪些可以收录，哪些不能收入，因为蜘蛛进网站首先访问的就是Robots，在里面加上网站地图会有更好的效果

5 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户179816

Robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

5 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户171739

只要不禁止收录就行了，其他没啥

5 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户179407 · 无人机品牌、无人机价格、无人机表演

给蜘蛛指路的，告诉他哪些可以收录,保护网站

5 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
用户175003 · 那木西撇，色拉恩子，做一个佛系SEO，谢谢大佬来互点刷点访问量，有点必回

作用不大

5 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户176189 · 致力于分享手机赚钱软件丨手机赚钱项目

给蜘蛛指路的，告诉他哪些可以收录，哪些不能收入，因为蜘蛛进网站首先访问的就是Robots，在里面加上网站地图会有更好的效果

5 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户122659

作用不大

5 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户176429

这个没啥作用

5 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消

收录宝

.722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d .722d

蜘蛛池

塑木地板
搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司