我的网站为www.hscw8.com,最近我看网站日志,蜘蛛抓取的页面基本上是www.hscw8.com/index.aspx这种路径的地址,但是因为做了伪静态,这些地址都是空的,我可否直接吧www.hscw8.com/index.aspx做301,跳转到www.hscw8.com吗,或者是www.hscw8.com/news.aspx
跳转到www.hscw8.com/news.html呢
1、蜘蛛一直访问一个不存在的页面,那么你不妨把这个页面在Robots里disallow 这个网址,这样后期蜘蛛也就不会爬行这个网页。
2、这种301不建议考虑,301是针对存在的页面,而你这个页面是空的,不建议这样操作。
3、你这个页面也并无被收录,所以301可不用考虑。
<p>1、蜘蛛一直访问一个不存在的页面,那么你不妨把这个页面在Robots里disallow 这个网址,这样后期蜘蛛也就不会爬行这个网页。</p><p>2、这种301不建议考虑,301是针对存在的页面,而你这个页面是空的,不建议这样操作。</p><p>3、你这个页面也并无被收录,所以301可不用考虑。</p><p><br></p>
来学习做笔记的
这个不用去管
可能是假蜘蛛,不用管的
可能是假蜘蛛
让更多人参与回答