4 人参与回答
三九问答
三九问答 · 专业的有问必答平台

百度规定不抓的就不抓

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、这个URL是你域名下的URL,蜘蛛抓取一切可能存在的URL,抓取没有问题; 

2、如果不想被蜘蛛抓取和放出收录,可Robots封禁这个页面的爬行。

可能是写的比较好吧 哈哈哈

?蜘蛛什么连接不抓?你就算设置了禁止,该抓的时候还是抓。