百度抓了网站根目录没有的文件？ 推荐热议
<p>网站土工布tugongbu369.com，最近百度一直在抓一个叫card的文件，但是根目录并没有这个文件，然后robots.txt禁止了还是在抓，隔两天来一次，一词抓取2000次左右，然后查了路径是以card/ShareLogin.asp?Id=3533结尾的，也访问不了，所以到底是个什么东西。</p><p><a href="http://tugongbu369.com/" data-url="tugongbu369.com" class="show-5118-data" rel="nofollow" target="_blank">http://tugongbu369.com/</a><br></p><p><br></p>
12 人参与回答
最佳回答
习惯就好
这也太专业了，看不懂，等大神吧
百度有自己的机制，会按照习惯抓取，不用理会他。百度抓取后，会根据状态码判断是否存在这个url。
百度还会抓一些 /dede/ /wp-admin/ 等待。。。这些有的是织梦，有的是WP建站程序。这是百度识别你建站程序的一个方式。
