搜外网>搜外问答>问答页面

纯文本网址百度蜘蛛能爬取到吗？

微信

纯文本网址百度蜘蛛能爬取到吗？

百度蜘蛛举报 本帖由用户发布，如有侵权联系删除 2020-09-03 发布1,047 次浏览

14 人参与回答

12280 · 软文智慧云文案代写_商业计划书代写_ppt代制作_代写公司

可以抓取到，并不重要

搜索引擎的spider需要及时发现和抓取互联网上的链接，至于链接是什么形式，并不重要。文本形式的url会被蜘蛛发现并放入手机号中，也许有一天，我们还可以识别图片里、语音里、里或是其它什么形式的链接。

Idiot · 计算机编程PHP，js，HTML，Java

可以的，可以爬取得到

春颜

可以的，只是效果要低一些，但是也挺好的

A小董A · timken轴承

可以得

五金制品 · 铝合金外壳加工

可以爬到的

火星

可以的

搜外用户 · 来搜外学习的一名普通用户

可以抓取到，并不重要

大壳

可以抓取到的

可以抓取到！！

香港服务器 · 磐石云天海外服务器香港服务器租用美国服务器租用香港站群服务器租用

会被抓取到的

武汉鱼儿

可以抓取到的

六千里 · 雅思、托福、Sat、GRE等出国留学语言培训。

可以抓取到的

与故里.

搜索引擎的spider需要及时发现和抓取互联网上的链接，至于链接是什么形式，并不重要。文本形式的url会被蜘蛛发现并放入数据库中，也许有一天，我们还可以识别图片里、语音里、视频里或是其它什么形式的链接。

收录宝