日志文件的URL标准化怎么实现,求大神们指导

问题是这样,我的网站上可以说已经是对应只用了一个URL,也就是标准化,但是我的日志文件里,记录到的百度蜘蛛爬行记录却都是会带上index.html这个,这样对SEO优化有没有影响,如果操作实现蜘蛛在日志里爬行的也是和

我网站上对应的URL。实现完全的标准化呢?



追加问题
    3 人参与回答
王俊程 · 希望能在这里分享学习SEO

Robots里面写死Disallow: /*$呢

姬成
姬成 · 搜外论坛技术区版主

我怀疑你是不是网站刚上线的时候,发外链引来的流量导致的呢

三木
三木 · 八年网络营销经验,微信公众号:三木谈

这个还是需要在你网站内部找原因,和蜘蛛没有一点关系。

看看网站内部关于每个页面的链接是否默认带了