网站用robots屏蔽了所有蜘蛛,但是没有生效,怎么回事?
看看Robots文件写正确了没
等等,用抓取诊断 检测下 抓取的连接是否能成功
生效要等个几天的,或者检测一下就行了
站长平台检测一下就行
让更多人参与回答