搜外网>搜外问答>问答页面

真假蜘蛛,请大神帮忙看看,这些是什么问题? 悬赏1元 已结束

<p>请分别帮我看一下 十分疑惑</p><p>1. 这2个ip 220.181.108.101和220.181.51.92 是真的还是假的?这个横线是什么意思</p><p><br></p><p>2. 这是哪里不一样呢我怎么看不出来?所以我上图那个是真的还是假的?</p><p><br></p><p>3. 这个是 首页304吗?为什么会这样?有什么影响吗?因为首页抓了2次,一次是200,一次是304</p><p>220.181.108.84 - - [19/Aug/2020:23:42:51 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"</p><p>4. 为什么蜘蛛会爬取不存在的页面,而且还200成功了?这是怎么回事?难道不应该是404吗?<br></p><p>116.179.32.78 - - [19/Aug/2020:16:58:08 +0800] "GET /news/?page=3 HTTP/1.1" 200 3339 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"</p>

追加问题
    16 人参与回答

日志分析工具查看一下

真的

查ip就知道了

真假可以在网上找找教程

just
just · 零代码开发

日志我也很少看,

王金亮
王金亮 · 个人站长 SEO优化 搜索排名 90后魔漂一枚~15870837476(同微信)互相交流

对于真假蜘蛛我只能帮你到这里了,你可以参考一下,两个IP地址都通过反向DNS查询看一下,结果你自己分析一下。

微信截图_202008201426321

其次,你可以通过分析返回的UA来分辨蜘蛛的真假

百度PC蜘蛛的UA:

微信截图_20200820143232

互零网络
互零网络 · 擅长技术研发,互零网络:APP开发、小程序开发、网站建设

日志分析 查出来然后就使用蜘蛛IP查询

日志分析工具可以看下

寕榏青楓
寕榏青楓 · 无锡华芯科技,霍尔元件,霍尔开关

可以用日志分析工具查看下

你没有设置打不开的网页是404

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、真假蜘蛛辨别,网上有教程,仅供参考,采集爬虫爬网站也是不可避免,因此无需太担忧,正常优化,提交推送是最直接引蜘蛛

2、这里面的文档是官方的文档吗,稳定仅供参考,也可以用网站日志分析工具操作下如拉格好日志分析

3、首页304,首页返回码是否是304,自己去用网页返回码分析下,也可以去百度站长里面抓取异常看看有无提示;

4、蜘蛛爬不存在页面返回码是200,去返回码查询网看看是否返回码200,如果是,这种多半是自己网站程序问题,操作404页面,不存在页面返回码404。

推荐下载金华哦   可以筛选真假蜘蛛

你可以找一个日志分析工具,看看

不知道看不懂

加载更多