蜘蛛抓取越频繁说明站点信任度越高吗? 悬赏1元 已结束
<p>最近网站一直在持续不断的优化,蜘蛛慢慢也来的频繁了,收录也放出几条了,蜘蛛抓取越频繁说明站点信任度越高吗?</p><p><a href="https://www.whshzt.com/2151.html" target="_blank" data-url="www.whshzt.com" class="show-5118-data" rel="nofollow">https://www.whshzt.com/2151.html</a><br></p><p><br></p>
12 人参与回答
请问你这个是在网站后台看的吗?
喜欢你才来,继续好好优化
不论哪个搜索引擎的爬虫,来抓取你网站的页面的时候,肯定在消耗你的网站资源,例如网站的连接数、网络带宽资源(空间流量)、服务器的负载、甚至还有盗链等,那是不是所有的搜索引擎蜘蛛都是有用呢?
另外,搜索引擎的爬虫来抓取你的页面数据后,它也不一定收用数据,只代表它“到此一游”留下痕迹而已,据马海祥了解有些搜索引擎只是过来找下它想要的资源,甚至还有很多是开发人员的蜘蛛测试。
对于一个原创内容丰富,URL结构合理易于爬取的网站来说,简直就是各种爬虫的盘中大餐,很多网站的访问流量构成当中,爬虫带来的流量要远远超过真实用户访问流量,甚至爬虫流量要高出真实流量一个数量级。
对于那些想提高网站有效利用率的网站,虽然设置了相当严格的反爬虫策略,但是网站处理的动态请求数量仍然是真实用户访问流量的2倍。
可以肯定的说,当今互联网的网络流量有很大一部分的流量是爬虫带来的,因此反搜索引擎爬虫是一个值得SEO长期探索和解决的问题。
所以,从SEO的角度来说,搜索引擎蜘蛛来网站访问并非越多越好,并且还要合理的屏蔽无效的搜索引擎蜘蛛的抓取。