搜外网>搜外问答>问答页面

求助各位大佬我这个蜘蛛频繁的重复爬取同一个url是什么原因？

微信

<p>这样得url不止图片的这些，还有很多，一天5000蜘蛛大部分都是重复爬取的<br></p>

追加问题
本帖由用户发布，如有侵权联系删除  2022-01-12 发布584 次浏览
举报
其他问题
 
    4 人参与回答
用户166178

可能是这个链接的入口较多

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户28477 · plc视频教程

你这个页面是不是内链、外链做的比较多

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户179092 · 上海沈泉泵阀公司

这种基本上就只有等大佬前来回答了

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户172122 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

多发点外链

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消

收录宝

amena ianlu ongch gyuvi 18048 18047 18046 18045 18044 18023 18022 18120 18118 18117 18116 18115 18114 18113 18112 18111

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司