搜外网>搜外问答>问答页面

robots设置，你们都是怎么设置的，需要让蜘蛛抓取哪些

微信

Robots 举报 本帖由用户发布，如有侵权联系删除 2023-01-12 发布518 次浏览

5 人参与回答

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

User-agent: *
Allow: /

里面放允许抓取的链接可以把网站地图放上

梦梦 · 泰海科技12年服务经验，专注于服务器租用

不想让蜘蛛抓取的页面，可以放进Robots，

客套企业名 · 一款可以搜索企业名录的CRM软件。

User-agent: *
Allow: /

里面放允许抓取的链接可以把网站地图放上

HWAPº · 网站权6，友情链接QQ:2544424184

Robots设置一般是想要禁止抓取哪些，如果没什么要求，可以不加

人生＝π · 建站小程序空间域名服务器百度爱采购

没有特殊要求，没有设置过。看看其他人怎么回复

收录宝