网站正常优化的情况下,发现蜘蛛抓取页面都是重复的,怎么才能让蜘蛛爬取页面正常,爬取重复的页面多次也没有收录,如何引导蜘蛛抓取页面,怎么处理已经重复的页面问题?
页面链接生成Sitemap,同时手动推送
同意楼上的说法
把网站所有的页面链接生成Sitemap,提交百度,每隔一段会抓取一次,还可以手动推送
把你想让蜘蛛抓取的页面写进Sitemap或主动提交试试
可以设置Nofollow试试
首先,如果你觉得这些被重复抓取的页面没有用,可以设置Nofollow; 其次,及时提交想要被抓取的目标页面(写进Sitemap,主动提交等等都行); 最后,注意目标页面的链接入口,通过内链和外链等优化,来促进搜索引擎蜘蛛抓取。
这个还没遇到过,蹲一波答案
让更多人参与回答