<p></p>
百度规定不抓的就不抓
1、这个URL是你域名下的URL,蜘蛛抓取一切可能存在的URL,抓取没有问题;
2、如果不想被蜘蛛抓取和放出收录,可Robots封禁这个页面的爬行。
可能是写的比较好吧 哈哈哈
?蜘蛛什么连接不抓?你就算设置了禁止,该抓的时候还是抓。
让更多人参与回答