如题,蜘蛛的抓取日志里有大量的大写的url地址,而且状态码是404,这是什么情况造成的,怎么解决
1、你的URL没有大写,这种无异常,返回码404,这些URL是不会放出收录; 2、蜘蛛会抓取爬行真实存在的URL,持续观察下,这种错误不会持续太久。
这个不用管的啊
让更多人参与回答