网站需不需要禁止一些不知名的蜘蛛和垃圾蜘蛛的访问?
看自己,对你有影响就屏蔽
一般应该不会对网站有影响。
我的服务器屏蔽了HTTrack|BLEXBot|SEMrushBot|Apache-HttpClient|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|YisouSpider|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|BabyKrokodil|netsparker|httperf| 这些蜘蛛,基本上没什么用,除了耗费你服务器的带宽
让更多人参与回答