网站安装地图后导致蜘蛛未来爬取?
网站自从安装地图后,导致蜘蛛不来网站爬取了,是安装后就突然不来访问了,这样是什么情况,为什么安装地图就影响了蜘蛛,这个时候怎么处理?怎么把蜘蛛引导回来,让蜘蛛重新回来,还能不能恢复?多数与安装地图有关系?
4 人参与回答
一、你把蜘蛛屏蔽了
如果是你自己把蜘蛛屏蔽了,那么蜘蛛自然也不能来抓取你的网站。一种是优化人员在网站初期的时候,为了避免网站不够完善避免蜘蛛爬取而设置的Robots.txt.文件,如果发现了,及时删掉就好。还有另一种是服务商屏蔽了蜘蛛,蜘蛛过多的爬行网站,导致服务器认为是DOOS攻击自动把蜘蛛IP给屏蔽了,这种情况经常让网站被k,如果是这样的情况,不妨直接换服务商,以免给网站带来不好的体验。
二、蜘蛛把你屏蔽了
1、在注册域名的时候,检查下自己的域名是否在注册之前被使用过或是惩罚过,蜘蛛本身就对它有意见,如果是这样的域名的话,那最好还是换一个域名比较好。
2、看看与自己同IP的网站是否有被处罚过的站点,也许这个站点已经严重违规被K站了,那么搜索引擎有自动屏蔽整个服务器的功能,使用独立IP,有利于SEO。
三、学会用日志了解蜘蛛爬行规律
优化人员新手们也要学会用软件分析蜘蛛爬行哪个文件夹,爬行次数等,来帮助你更好地分析网站优化的问题,进而制定出更好地优化方案,帮助网站排名更高质量的提升。