蜘蛛(爬虫)

蜘蛛(爬虫)

自动抓取网页内容的机器人Robots,搜索引擎蜘蛛的简称.

夫唯

话题优秀回答者

191 关注
268 讨论
猫熊

百度蜘蛛抓取图片路径的问题 蜘蛛(爬虫)

外在因素:其他网站有一个这个路径的图片链接,量少无需理会 内在因素:曾经有这个图片,现在已经不存在了...显示全部
匿名用户

蜘蛛日志返回的哪几种状态码会影响收录和排名? 蜘蛛(爬虫) 日志分析

404 :收录的页面百度会删除,没有收录的估计也不会去了。去的可能性偏小。 503:第一次去,遇见5...显示全部
段羽

请问大神。蜘蛛ip:139.196.128.*和101.200.101.*是什么意思? 蜘蛛(爬虫) IP

> 百度蜘蛛对于站长来说可谓上宾,可是我们曾经遇到站长这样提问:我们如何判断疯狂抓我们网站内容的蜘蛛...显示全部
无与

有谁知道180.76.15.*是什么蜘蛛 蜘蛛(爬虫)

我们通过dos命令来查看,我们来找两个IP段220.181.108.140和117.28.255.3...显示全部
王志强

网站蜘蛛抓取问题 蜘蛛(爬虫)

你这个问题不知道该怎么答!!不过你要看搜索引擎蜘蛛什么时候来过,访问了那个页面,,你可以看服务器日志...显示全部
刘涛

网站有蜘蛛爬行,但一直未收录(赏) 蜘蛛(爬虫)

URL操作下 重定向。比如:http://www.xxx.com/1.html 做成绝对地址。另外...显示全部
崔海雷

百度蜘蛛爬行但不收录的原因分析,迷惑了 蜘蛛(爬虫) 百度收录

网站想要达到一个好的状态,就需要搜索引擎对网站进行爬行,然后进行收录,有了收录之后,网站才会有一个好...显示全部
小娴

旧网站,每天更新,蜘蛛有爬行,但已经一个多月没收录了 蜘蛛(爬虫) 收录因素

收录主要是内容要符合收录标准(不要更新的都是没有价值的内容或者都是采集) 另外就是网站的收录人口是否...显示全部
雕花绝恋

关于蜘蛛抓取,为什么只能爬取最新几天的文章? 蜘蛛(爬虫)

时效性、阅读量、原创性、文章的价值都会导致蜘蛛只抓新文章。 每天几百篇的文章怪吓人的,我很怀疑文章...显示全部
李凯

网站文章标题加了h1,回到解放前,求分析 蜘蛛(爬虫) 收录删除

感觉楼主的思想是很多人的通病,就是我做了什么导致了什么结果。还有很多人说,我改了标题,网站被k了;我...显示全部