请问各位大佬和SEOer们,网站蜘蛛爬取异常,有时候爬取没有痕迹,有时候爬取页面是重复的多数,怎么引导蜘蛛爬取页面正确,我怎么处理让网站蜘蛛正常?
有存在这样的现像,要保持定时更新并主动提交链接
站长反馈投诉试试看
提交试试看 不行就投诉反馈下
1、经常被爬的页面放些你想让蜘蛛爬的链接 2、多提交 3、如果可以可以选择频闭
首先要排查:服务器是否异常、DNS是否正常、是否禁止蜘蛛IP抓取、是否存在大量404。 如以上都没有,可以进行站长投诉。
让更多人参与回答