搜外网>搜外问答>问答页面

robots是给百度蜘蛛快速识别的吗？

微信

robots别的还可以有哪些用处？

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2019-08-31 发布1,192 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    5 人参与回答
上虞网络公司
上虞网络公

 这个文章有说明，希望可以帮到您！

5 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
家电维修
家电维修 · 一名SEO小白，请各位大神多多指教

Robots可以设定哪个文件不能被抓去，也可以把网站地图放上，前提是前面不要加Disallow:这个命令。因为蜘蛛进入你的网站最先抓取的就是robots，会顺着你的网站地图爬行整个网站，不需要每次都像资源平台更新地图文件，也算是节省一点时间吧。

5 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
唯爱シ念流年
唯爱シ念流 · 买网店,上猫元素！买卖网店便捷、安全、交易放心的电商综合性服务平台

Robots是告诉蜘蛛哪个文件可以抓取，哪个文件不能抓取，还可以屏蔽特定的搜索引擎蜘蛛

5 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
学习交流
学习交流 · 室内门锁厂家

Robots是告诉蜘蛛哪个文件可以抓取，哪个文件不能抓取，还可以屏蔽特定的搜索引擎蜘蛛

5 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司