搜外网>搜外问答>问答页面

如何用Robots协议引导蜘蛛对页面进行抓取？

微信
追加问题
Robots
本帖由用户发布，如有侵权联系删除  2023-02-28 发布630 次浏览
举报
其他问题
 
    4 人参与回答
用户230559

Robots协议你先了解一下用法

2 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户37956

可以引导蜘蛛到网站地图

2 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户210320 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

可以引导蜘蛛到网站地图。百度找一下。

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户159126 · 专业的有问必答平台

Robots协议你先了解一下用法

2 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消

收录宝

ngxin ngxin ngxin ngxin

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司