搜外网>搜外问答>问答页面

网站蜘蛛反复抓取一个页面怎么处理？

微信

网站蜘蛛反复抓取一个页面每次重复的页面，这样继续抓取也没有用，怎么才能处理蜘蛛引导蜘蛛抓取正常的页面，各位大佬帮忙解答疑问蜘蛛问题，咋处理？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2022-03-02 发布487 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    9 人参与回答
污水处理设备
污水处理设 · 专业一体化污水处理设备、溶气气浮机源头厂家！

按照楼上说的操作试试

2 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
富高家具有限公司www.fugaojiaju.com
富高家具有

可以用Robots禁止蜘蛛抓取此页面

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
梅术
梅术

抓取次数多了，应该就会抓取其他的页面。

2 年前
IP属地：云南
赞同 0 评论 0
收藏 举报
评论取消
胡汉三
胡汉三 · 上海沈泉泵阀公司

那就多在这个页面加些内链，。把他喂饱

2 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
素材网
素材网 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

进来看看

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

正常抓取，做好内链即可

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
企业名录大全
企业名录大 · 客套企业名录，内置1亿+企业名录线索库，轻松开拓企业客户。

可以多在这个页面中加点内链

2 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
昊昌石笼网厂家张凤领18531803122
昊昌石笼网

可以禁止抓取，在Robots中写入禁止抓取

2 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
12365信息网
12365 · 12365信息网-生活帮助知识库

禁止百度抓取

2 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司