搜外网>搜外问答>问答页面

如何设置禁止蜘蛛抓取得得cms index.html页面

目前蜘蛛抓取的.com和.com/index.html 如果在robots.txt 文件禁止index.html页面会不会有事 ,因为这两个是一个页面

追加问题
    4 人参与回答
xiaolinqun
xiaol · 策略型高端网站设计、网页设计、官网设计公司

做个301跳转,如果还是不行,就去把服务器或者主机上的首选域改一下。

此后故乡只有冬
此后故乡只 · 爱云查

改路径蜘蛛会抓取的很慢

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、index这个,如果只是首页有,一般也没啥,时间长了,搜索自己会辨别,只要不在网页出现即可,如首页地址是带index的页面,或者首页301到index页面;

2、前期可能影响,但是随着网站优化,信任度提升,搜索会明确你的主推URL。

MiLe
MiLe · 每一个成功者都有一个开始

这个没必要禁止

SEO培训招生中
189