目前蜘蛛抓取的.com和.com/index.html 如果在robots.txt 文件禁止index.html页面会不会有事 ,因为这两个是一个页面
做个301跳转，如果还是不行，就去把服务器或者主机上的首选域改一下。
改路径蜘蛛会抓取的很慢
1、index这个，如果只是首页有，一般也没啥，时间长了，搜索自己会辨别，只要不在网页出现即可，如首页地址是带index的页面，或者首页301到index页面；
2、前期可能影响，但是随着网站优化，信任度提升，搜索会明确你的主推URL。
这个没必要禁止
让更多人参与回答
