垃圾蜘蛛都得屏蔽掉。
之前,我看了教程,通过Robots.txt协议来控制蜘蛛抓取,结果没有任何作用,因为这玩意没几个蜘蛛会遵守,尤其是那些垃圾蜘蛛。正常情况下都是采用web服务器来控制,比如nginx的防止垃圾蜘蛛抓取的代码
建议屏蔽掉垃圾蜘蛛
负载大不大的,垃圾蜘蛛都得屏蔽掉。
让更多人参与回答