如何设置禁止蜘蛛抓取dedecms index.html页面

目前蜘蛛抓取的.com和.com/index.html 如果在robots.txt 文件禁止index.html页面会不会有事 ,因为这两个是一个页面

追加问题
    4 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。5118网站优惠折扣码:9ADB8B

1、index这个,如果只是首页有,一般也没啥,时间长了,搜索自己会辨别,只要不在网页出现即可,如首页地址是带index的页面,或者首页301到index页面;

2、前期可能影响,但是随着网站优化,信任度提升,搜索会明确你的主推URL。

MiLe
MiLe · 每一个成功者都有一个开始

这个没必要禁止

SEO培训招生中
150