假蜘蛛 爬取网站漏洞网站不收录怎么处理?
我是查看日志发现的,假蜘蛛,爬取网站漏洞的根本不收录,一般蜘蛛访问的都是404不存在的页面,如何不让这蜘蛛爬取了,这种情况怎么处理?
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭
我是查看日志发现的,假蜘蛛,爬取网站漏洞的根本不收录,一般蜘蛛访问的都是404不存在的页面,如何不让这蜘蛛爬取了,这种情况怎么处理?