抓取的网站链接里面怎么会带蜘蛛的？有大神知道这是怎么回事吗？ 悬赏1元 已结束
<p>如题，很奇怪，今天抓取了下网站链接，发现了这些玩意儿，有大神知道是怎么回事吗？第一次遇到</p><p></p><p></p>
9 人参与回答
用户156223 等 1 人赞同该回答
1、你是如何抓取这些URL，需要判断下，这个URL是否存在，你是否给他有通道；
2、可用网站地图生成工具抓取下，看看有没有这些URL；
3、如果网站内部没有这个URL是抓取不到的。
ps：只要没给通道就不好产生这些URL
你先看看是不是有效链接
看下这些链接是否真实存在，不能正常访问，提交死链
先确定是否有这样的链接，查询一下状态看看。
这种是无效链接
是地图抓取软件的问题
不必理会、应该是模拟抓取的链接！
看下这些链接是否真实存在，不能正常访问，提交死链
