搜外网>搜外问答>问答页面

robots大家会把一些css js 图片等写进去吗?有必要吗?

每天网站上都有爬css和js等 要不要屏蔽掉来节约爬虫?

这样会让爬虫节省时间去爬其他页面am?

还是说他本来想爬js 结果屏蔽了 他扭头就走了?也不会去爬其他的内页?

追加问题
嘵沉
嘵沉 · 365微信编辑器-———————————————————————————这里————————————————————

可以考虑禁止。

商标网
商标网 · 商标注册、商标查询、商标转让

我都全部屏蔽了  图片不带属性词 全部屏蔽了 抓取也没用

搜客网
搜客网 · 搜客站长信息网,免费发锚文本外链论坛、站点目录提交、软文seo推广平台, seoerk.com 承接建站、设计

那肯定是没有必要的,蜘蛛不会爬取css、JS,图片肯定是需要被抓取的

SEO培训招生中
159