搜外网>搜外问答>问答页面

robots都设置了不让蜘蛛来爬，为什么这些蜘蛛还要来爬？

微信
追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2022-11-09 发布443 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
青争一青争
青争一青争 · 专业生产各种型号有机肥设备_有机肥生产线_掺混肥生产线_支持定做：13838362254

一般只要Robots封禁成功，抓取诊断会提示不能抓取

2 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
士道卄亓
士道卄亓

去伪静态设置封禁垃圾蜘蛛试试

2 年前
IP属地：新疆
赞同 0 评论 0
收藏 举报
评论取消
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、Robots已封禁，也测试不能抓取，现在还抓取的也不是真的蜘蛛；
2、真假蜘蛛可以判断下，一般只要robots封禁成功，抓取诊断也会提示不能抓取。

2 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司