搜外网>搜外问答>问答页面

robots协议具体不让蜘蛛抓取哪些页面？

微信

一般不让蜘蛛抓取哪些页面？求解答

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2021-08-23 发布676 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    5 人参与回答
best
best · 朗速erp
我的微信:sec_vip 等 1 人赞同该回答

不关乎收录的文件都禁了

3 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
香港服务器租用
香港服务器 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用
我的微信:sec_vip 等 1 人赞同该回答

都可以设置

具体看你怎么设置
可以去百度站长平台看看相关的

3 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
罗凌峰
罗凌峰
我的微信:sec_vip 等 1 人赞同该回答

Robots封禁的都会被禁止抓取

3 年前
IP属地：天津
赞同 1 评论 0
收藏 举报
评论取消
磁共振检查
磁共振检查 · 磁共振检查-深圳磁共振-华影门诊部
我的微信:sec_vip 等 1 人赞同该回答

不让它抓一些动态页面跟无关紧要的

3 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
可乐
可乐 · 电气防爆检测
我的微信:sec_vip 等 1 人赞同该回答

看你用的CMS是什么，然后上百度一搜一大把！！！

3 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司