robots是通过什么来阻止蜘蛛爬取网站的?

robots标记如何影响搜索引擎抓取/索引/显示网页资料呢?

追加问题
    1 人参与回答
万众一鑫_李彬
万众一鑫_ · 公众号:每日早间资讯 炒股的话可以关注。干货满满。

记录在Robots上的命令

回复问答禁止带推广链接,了解合理带链接的方法