搜外网>搜外问答>问答页面

网站蜘蛛反复抓取一个页面怎么处理？

微信

网站蜘蛛反复抓取一个页面每次重复的页面，这样继续抓取也没有用，怎么才能处理蜘蛛引导蜘蛛抓取正常的页面，各位大佬帮忙解答疑问蜘蛛问题，咋处理？

追加问题
本帖由用户发布，如有侵权联系删除  2022-03-02 发布728 次浏览
举报
其他问题
 
    9 人参与回答
用户202556 · 专业一体化污水处理设备、溶气气浮机源头厂家！

按照楼上说的操作试试

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户213633

可以用Robots禁止蜘蛛抓取此页面

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户202844

抓取次数多了，应该就会抓取其他的页面。

3 年前
IP属地：云南
赞同 0 评论 0
收藏 举报
评论取消
用户179092 · 上海沈泉泵阀公司

那就多在这个页面加些内链，。把他喂饱

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户172122 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

进来看看

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户210320 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

正常抓取，做好内链即可

3 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户194940 · 客套企业名录，内置1亿+企业名录线索库，轻松开拓企业客户。

可以多在这个页面中加点内链

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户203165

可以禁止抓取，在Robots中写入禁止抓取

3 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户184427 · 12365信息网-生活帮助知识库

禁止百度抓取

3 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消

收录宝

18463 18462 18461 18426 18425 18424 oming oming 18451 cn/xi f.cn/ f.cn/ f.cn/ inkai inkai inkai inkai nkai/ nkai/ zhiji

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司