nofollow标签能禁止蜘蛛吗?
最近蜘蛛来网站总是爬取重复的页面,有的页面根本不爬取,我想把一些页面加nofollow标签,加了nofollow标签影响蜘蛛正常爬取吗?不要让蜘蛛爬取重复页面有什么方法?
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭
最近蜘蛛来网站总是爬取重复的页面,有的页面根本不爬取,我想把一些页面加nofollow标签,加了nofollow标签影响蜘蛛正常爬取吗?不要让蜘蛛爬取重复页面有什么方法?