蜘蛛(爬虫)

蜘蛛(爬虫)

自动抓取网页内容的机器人Robots,搜索引擎蜘蛛的简称.

夫唯

话题优秀回答者

191 关注
268 讨论
肖仕木

百度蜘蛛抓取图片路径的问题 蜘蛛(爬虫)

外在因素:其他网站有一个这个路径的图片链接,量少无需理会 内在因素:曾经有这个图片,现在已经不存在了...显示全部
于子谦

蜘蛛日志返回的哪几种状态码会影响收录和排名? 蜘蛛(爬虫) 日志分析

404 :收录的页面百度会删除,没有收录的估计也不会去了。去的可能性偏小。 503:第一次去,遇见5...显示全部
柴宏俊

请问大神。蜘蛛ip:139.196.128.*和101.200.101.*是什么意思? 蜘蛛(爬虫) IP

> 百度蜘蛛对于站长来说可谓上宾,可是我们曾经遇到站长这样提问:我们如何判断疯狂抓我们网站内容的蜘蛛...显示全部
邵国明

有谁知道180.76.15.*是什么蜘蛛 蜘蛛(爬虫)

我们通过dos命令来查看,我们来找两个IP段220.181.108.140和117.28.255.3...显示全部
飞翔的鱼

网站蜘蛛抓取问题 蜘蛛(爬虫)

你这个问题不知道该怎么答!!不过你要看搜索引擎蜘蛛什么时候来过,访问了那个页面,,你可以看服务器日志...显示全部
郑国华

网站有蜘蛛爬行,但一直未收录(赏) 蜘蛛(爬虫)

URL操作下 重定向。比如:http://www.xxx.com/1.html 做成绝对地址。另外...显示全部
风清扬

百度蜘蛛爬行但不收录的原因分析,迷惑了 蜘蛛(爬虫) 百度收录

网站想要达到一个好的状态,就需要搜索引擎对网站进行爬行,然后进行收录,有了收录之后,网站才会有一个好...显示全部