搜外网>搜外问答>问答页面

robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些

微信

Robots

本帖由用户发布，如有侵权联系删除 2023-01-12 发布651 次浏览

交换友情链接，就用搜外友链，方便！

5 人参与回答

用户153190 · 精益生产管理与六西格玛管理咨询，培训机构

User-agent: *
Allow: /

里面放允许抓取的链接可以把网站地图放上

用户118646 · 泰海科技12年服务经验，专注于服务器租用

不想让蜘蛛抓取的页面，可以放进Robots，

用户194772 · 一款可以搜索企业名录的CRM软件。

User-agent: *
Allow: /

里面放允许抓取的链接可以把网站地图放上

用户188605 · 网站权6，友情链接QQ:2544424184

Robots设置一般是想要禁止抓取哪些，如果没什么要求，可以不加

用户185412 · 建站小程序空间域名服务器百度爱采购

没有特殊要求，没有设置过。看看其他人怎么回复

收录宝