robots大家会把一些css js 图片等写进去吗?有必要吗?
每天网站上都有爬css和js等 要不要屏蔽掉来节约爬虫?
这样会让爬虫节省时间去爬其他页面am?
还是说他本来想爬js 结果屏蔽了 他扭头就走了?也不会去爬其他的内页?
4 人参与回答
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭