搜外网>搜外问答>问答页面

robots是通过什么来阻止蜘蛛爬取网站的？

微信

robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?

Robots

本帖由用户发布，如有侵权联系删除 2019-08-28 发布1,396 次浏览

举报

交换友情链接，就用搜外友链，方便！

1 人参与回答

用户151766 · 公众号：每日早间资讯炒股的话可以关注。干货满满。

记录在Robots上的命令