点击链接以后,看到url,网址是小写,目录变成了大写!
举例:
光年日志看到的网址是:www.AAA.COM
我的目录名字是mlm
点击链接打开网址看到的是:www.aaa.com/MLM
就很好奇为什么目录名是大写导致404
蜘蛛爬行你的目录,不是完全取决于你Robots或者Sitemap怎么写,引擎有自己的一套思路,会对你的目录进行不断测试。它会自己找到准确的路径。所以,你会发现蜘蛛像暴力测试一样,在不断爬取一些根本不存在的目录。
总之,很正常。
让更多人参与回答