蜘蛛(爬虫)

蜘蛛(爬虫)

自动抓取网页内容的机器人Robots,搜索引擎蜘蛛的简称.
相关话题
夫唯
话题优秀回答者
284 问题
2111 浏览

蜘蛛只抓取图片是怎么回事? 蜘蛛(爬虫)

网站是用PHP语言写的,虽然网站内图片多,但文章也不少,每天6篇,已经坚持3个月了。今天查看网站日志发现蜘蛛的抓取页面的路径点开后全是图片!求大神解惑,是不是网站日志中只显示蜘蛛抓取的图片路径,不显示文章路径啊?还是我用的工具不行(爱站工具……

2577 浏览

网站日志:蜘蛛状态码分析 蜘蛛(爬虫) 日志分析

[attach]6623[/attach] 第一问: 301状态码:我的网站是二级域名的,请问这个301提示表示什么意思? 第二问: 304状态码:如图所示,这些地址不知道是干什么用的,如何处理? 第三问: 404状态码:根据提示查看了……

3100 浏览

蜘蛛访问A域名的A页面,发现了A域名的B链接和C域名的D链接,接下来蜘蛛会怎么做? 蜘蛛(爬虫) 发现 引蜘蛛

在思考引蜘蛛的时候想到这个问题,蜘蛛是看到链接就抓吗?似乎不可能。那么蜘蛛看到链接的后续动作是什么呢? 于是有了标题上的这个问题: 蜘蛛访问A域名的A页面,发现了A域名的B链接和C域名的D链接,接下来蜘蛛会怎么做? 很多朋友同我一样都要使……

3517 浏览

内容页快照都是同一天,且description抓取不正确,怎么办? 蜘蛛(爬虫) SEO诊断 百度快照 网站恢复

话不多说,直接看图片 [attach]3266[/attach] 这些内容页都是用新的模板,之前的模板却没有这样的问题,虽然快照没多大关系,但是看着非常不舒服,而且描述全部都是一样的,完全抓取错误,请教各位,有什么办法更新吗? ……

4951 浏览

如何了解百度蜘蛛情况 蜘蛛(爬虫)

看了很多关于SEO知识,也分析过日子 那个段落代表百度蜘蛛提权,那些事降权蜘蛛 220.181.108.*** 123.125.71.** 117.28.255.** 183.91.40.*** 218.30.118.** 根……

4255 浏览

网站蜘蛛抓取问题 蜘蛛(爬虫)

网站抓取都是192.168.119.51和192.168.119.61两个IP。我nslookup下返回: [attach]25855[/attach] 于是我去报表查下,返回: [attach]25856[/attach] 百度查……

3363 浏览

百度是怎么知道网站上有了新文章然后过来抓取的? 蜘蛛(爬虫) 百度

看日志,发现我的站每次发完文章后最多15分钟内百度必定会来爬行,想知道百度是怎么知道我更新了呢?话说我也没有提交URL。 当然,这跟站做得久了以及外链多不无关系,但我就是想知道百度是怎么知道我更新的呢?? 它的机制是啥?为什么我一发完文……

2624 浏览

网站换域名,蜘蛛不爬新内容,一直爬老内容怎么解决? 蜘蛛(爬虫) 更换域名

门户站,一个月前换了新域名,同时在站长后台也提交了改版规则,并也提示改版完成,但是现在通过日志文件分析看到蜘蛛一直在爬取早期的内容,新内容很少爬取,通过site发现一周才收录3、4篇,网站内容基本为原创内容,也做了主动推送(实时)和自动推送……

2408 浏览

百度蜘蛛访问次数和访问IP的关系 蜘蛛(爬虫)

刚上线一个月的新站。 光年日志里显示的百度蜘蛛访问次数是4,蜘蛛IP又有20多个。这两者是什么关系呢? 还有怎么看百度蜘蛛每次来的时间,比如访问4次,每次来的时间在哪里看呢? ……