搜外网>搜外问答>问答页面

蜘蛛是怎么爬取的?比如说我网站前端没有的页面,但是服务器里有,他会爬取么?

这个蜘蛛到底是怎么爬取的,啥机制的?

追加问题
    7 人参与回答
香港服务器租用
香港服务器 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用
我的微信:sec_vip 等 1 人赞同该回答

如果有url是可以抓取

寕榏青楓
寕榏青楓 · 无锡华芯科技,霍尔元件,霍尔开关
我的微信:sec_vip 等 1 人赞同该回答

只有前端有通道URL,蜘蛛才能去抓取爬行

我的微信:sec_vip 等 1 人赞同该回答

有url就能爬

推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo
我的微信:sec_vip 等 1 人赞同该回答

1、只有前端有通道URL,蜘蛛才能去抓取爬行; 

2、搜索蜘蛛抓取不到内容,不会爬行的,你的内容在服务器里面,没通道是不好被抓取爬行。

ps:蜘蛛爬的是页面,页面有URL通道会顺着爬和抓取,如果你前端啥都没,那么蜘蛛啥都抓取不到

我的微信:sec_vip 等 1 人赞同该回答

@推推蛙 这个怎么说。

我的微信:sec_vip 等 1 人赞同该回答

蜘蛛是抓页面的,这点从抓取诊断里就能看出来,如果网站前端只有一个页面,而且该页面没有其他页面的链接,那蜘蛛是抓不到其他页面的。

SEO培训招生中
174