小爬虫爬出来两个页面就爬不下去了!疑惑 悬赏3元 已结束

今天用小爬虫爬我网站的网站地图,发现就一条数据,怎么都感觉不对劲!老铁们用的都是什么工具啊,第三方在线网站生成工具求推荐呢

QQ截图20170622162007QQ截图20170622161959

追加问题
分享到微信 收藏
    5 人参与回答
高飞
高飞 · 素材火
白帽站长 等 1 人赞同该回答

别太在意这些工具给的结果,看真实收录情况

雨人
雨人 · 黑枸杞等农产品营销
白帽站长 等 1 人赞同该回答

定期更新网站Sitemap对于搜索引擎来说是友好的表现,建议使用第3方xml网站地图生成插件,因为不知道楼主用的什么CMS,所以不好给推荐,但确定的是各cms基本上都有相应的Sitemap生成插件。希望这个回答能帮的上你,嘿嘿

Y
YOU郁大脸猫 · brainschool早教、2004、早教
白帽站长 等 1 人赞同该回答

用 SiteMap X 吧,就像楼上说的一样,网站地图最好是能定期更新,搜索引擎会认为友好

白帽站长 等 1 人赞同该回答

爬虫爬不通网站结构一定有问题。首先页面是否是静态页很重要,其次网站结构逻辑是否清晰,网站地图是否顺畅。这些做不好爬虫爬不出来,谈何收录!www.chinapull.com,这个网站不错,能不能交换个链接!!

奋斗小青年
奋斗小青年 · 在这里希望用我所学的知识和经验去帮助更多的人吧!互相交流学习,大家一起成长!

工具只是一个辅助性的东西,其实只要内容各个方面优化到位了。搜素引擎会喜欢的。老铁