搜外网>搜外问答>问答页面

日志分析页面抓取最前面的不是内容，这些是否需要写Robots屏蔽掉呢？悬赏1元已结束

微信

日志分析页面抓取最前面的不是内容，这些是否需要写Robots屏蔽掉呢？

Robots 日志分析

本帖由用户发布，如有侵权联系删除 2020-04-15 发布1,370 次浏览

交换友情链接，就用搜外友链，方便！

8 人参与回答

最佳回答

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、日志分析，看看蜘蛛爬行的都是那些页面，返回码是什么？

2、如果蜘蛛爬行了1000次，800多次都是在抓取非网页的url，那么可以通过Robots屏蔽，如果抓取的次数并不是太多可选择不屏蔽；

3、robots disallow是可以根据自己的需求来屏蔽不想被蜘蛛爬行抓取的页面。

根据你的需求，分析多日的网站数据来判断，如果影响不算大，可不必屏蔽，日常做好引蜘蛛做外链、日常更新提交URL给百度站长。

用户96944 · 【精】比做SEO更重要的是网站安全，站长必学的网站攻击与防御技术。又懂啦官网www..youdongla..com

不用屏蔽，没什么影响

用户168980 · seo、网站建设

影响不大的话不需要，不过看你个人，觉得屏蔽更好就屏蔽掉吧。

用户141248 · 环创传媒是一家集企业网站建设和推广、品牌设计、微信小程序开发，影视后期，在线智能平台等于一体的传媒公司。

量不大可以不用管

用户158852 · ASMR在线

先看下抓取的蜘蛛是不是百度，有的网站后台不严谨是有漏洞的，很多都是虚假的抓取。

真是的抓取如果和页面无关的话，可以选择Robots屏蔽。

用户141379 · 铁腰板治疗仪,铁腰板治腰突是真的吗,铁腰板官网

你先看下抓取的蜘蛛是不是百度，有的网站后台不严谨是有漏洞的，很多都是虚假的抓取。

真是的抓取如果和页面无关的话，可以选择Robots屏蔽。

忘记上图了不好意思......

用户145566

这个影响不大

日志分析页面抓取最前面的不是内容，这些是否需要写Robots屏蔽掉呢？ 悬赏1元 已结束