SEO
聚集100万网络营销实战家
建网站
换友链
如何避免不让蜘蛛重复抓取页面？ - 搜外SEO问答
搜外网
>
搜外问答
>
问答页面
如何避免不让蜘蛛重复抓取页面？
微信
蜘蛛每天都来爬取，但是百度蜘蛛总是重复抓取一个页面，一个页面重复多次抓取，我怎么不让蜘蛛抓取了，禁止蜘蛛抓取重复的？
追加问题
交换友情链接，就用搜外友链，方便！
3 人参与回答
橄榄绿叶
·
行星减速机
蜘蛛协议里写
手赚168
·
手赚1688网站长
避免不让，双重否定变肯定
相关问题
百度蜘蛛只抓取网站首页 不抓内页是什么原因？
(1 个回答)
百度蜘蛛不来网站怎么提高浏览量？
(2 个回答)
如何利用百度蜘蛛的来路IP来判断网站的权重？
(1 个回答)
百度蜘蛛抓取量为什么越来越少？
(4 个回答)
百度蜘蛛一天来你网站多少次才算不错？
(8 个回答)
百度蜘蛛长时间都没有来网站有哪些引导？
(3 个回答)
经过一个半月的努力，百度蜘蛛终于每天都过来了，但内页还没有收录不知道为什么
(4 个回答)
我想问一下百度蜘蛛是怎样的抓取规律？
(2 个回答)
收录宝
26476
12593
98885
92306
×
悬赏问题
让更多人参与回答
给问题设置一定金额，将更容易获得关注与回答。
1元
路过一下
3元
意思一下
5元
了解一下
8元
支持一下
18元
有钱任性
88元
我是土豪
选择支付方式
微信支付
支付宝
余额支付
确认支付 →
×
追问
追问
