robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

User-agent: *
Allow: /

里面放允许抓取的链接可以把网站地图放上

Answer 2

梦梦 · 泰海科技12年服务经验，专注于服务器租用

不想让蜘蛛抓取的页面，可以放进Robots，

Answer 3

客套企业名 · 一款可以搜索企业名录的CRM软件。

User-agent: *
Allow: /

里面放允许抓取的链接可以把网站地图放上

Answer 4

HWAPº · 网站权6，友情链接QQ:2544424184

Robots设置一般是想要禁止抓取哪些，如果没什么要求，可以不加

Answer 5

人生＝π · 建站小程序空间域名服务器百度爱采购

没有特殊要求，没有设置过。看看其他人怎么回复

收录宝