搜外网>搜外问答>问答页面

请问为啥蜘蛛只爬robots.txt和sitemap.xml啊 悬赏3元 已结束

以前没遇到过

追加问题
    26 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
SunShine 等 1 人赞同该回答

1、你是从哪里看到蜘蛛只抓取爬行Robots文件和Sitemap,是网站日志,网站上线运营多久,是新站,还是老站,都需要针对性分析;
2、如新站,做好站内外SEO优化,网页抓取诊断是否正常可抓取,代码是否可以识别,蜘蛛可爬行,做好引蜘蛛操作,提交推送、外链友链蜘蛛池收录宝,引蜘蛛抓取爬行你的其他页面;
如老站,以前爬行正常,突然不正常了,就需诊断分析,无误操作可申诉反馈;
3、可持续观察几日,百度站长里面的抓取频次可以参考下,正常操作引蜘蛛,网页正常可访问,可抓取爬行即可。

SunShine 等 1 人赞同该回答

没有爬其他页面,你可以提交推送下,引蜘蛛去爬行

🍒携一半清欢
🍒携一半清 · 个人站长、seo初级、30%白

你在哪里看到的这个数据 准确吗?

泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

你也可以提交其他页面让蜘蛛来抓取

怡合达YHD
怡合达YH · 怡合达专业从事自动化零部件研发、生产和销售,提供FA工厂自动化零部件一站式供应

只要没有屏蔽,蜘蛛一般都会爬

这个都是正常的,不用担心,继续优化就行了,买点友情链接换上

十六夜
十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

持续观察一下吧,过段时间也许就正常了

Robots.txt和都是自动提交网站链接的,可以自动收集网站的其他链接进行提交。

手动提交一下外链

污水处理设备
污水处理设 · 专业一体化污水处理设备、溶气气浮机源头厂家!

可能有优先级?

科兰布线
科兰布线 · clan科兰通讯是一家专注于综合布线的全球供应商,累计10余年行业经验,专注综合布线产品:铜缆、线缆、配线架、机柜等

Robots.txt和都是自动提交网站链接的,可以自动收集网站的其他链接进行提交。

提交外链啊这个

丫丫
丫丫 · 唵嘛咪叭咪吽

你的栏目页、详情页、列表页都是包含在Robots.txt和之中的,所以蜘蛛爬取也会抓取的

小鱼
小鱼 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

siemap是可以抓取全站点的

再持续观察观察

加载更多
SEO培训招生中
188