我在制作sitemap时,用工具采集出来了2万个搜索结果的网址链接,还有1万多个用户登录的网址链接,各位知道是怎么回事吗?怎么屏蔽掉这些链接?
求大神指导
Sitemap生成工具有过滤选项的,可以定规则过滤不生成
蜘蛛也抓取,郁闷死了。
我也遇到这个问题,很多都是登录信息,蜘蛛也抓取,郁闷死了。
禁止蜘蛛抓取
让更多人参与回答