网站如何吸引蜘蛛,让蜘蛛抓取页面正常?最近几天百度蜘蛛总是反复抓取页面重复,多数都是没有什么变化作用不大,有什么办法可以让蜘蛛爬取页面正常,引导蜘蛛的爬取需要怎么做?
同意楼上的说法
实在要很精准就在Robots里设置只爬取特定目录下的内容吧
每一次的新内容主动提交,即使不收录也是告诉蜘蛛你要收录什么内容
更新好网站地图,每次发布内容后做链接提交
让更多人参与回答