964
浏览
如何不让蜘蛛抓取重复的页面？ 百度蜘蛛
现在其它页面都不收录，百度蜘蛛总是抓取重复的页面，收录也是重复的，我如何让蜘蛛不要抓取重复的页面？……
百度蜘蛛
相关话题
1640
问题
964
浏览
964
浏览
百度蜘蛛来的次数越来越少，怎么办 根目录 百度蜘蛛
https://www.67bqg.com 之前偶尔还能来一次，现在十天半个月也不来，哪位大神能帮忙分析一下，根目录的一个TXT文件已经删除了，蜘蛛是可以抓取的。测试抓取也没问题。……
964
浏览
963
浏览
963
浏览
最近百度蜘蛛爬虫次数变少了！！ 百度蜘蛛
最近百度蜘蛛爬虫次数变少了！！最近百度蜘蛛爬虫次数变少了！！最近百度蜘蛛爬虫次数变少了！！最近百度蜘蛛爬虫次数变少了！！最近百度蜘蛛爬虫次数变少了！！……
962
浏览
81.71.60 这是什么IP段 模仿百度蜘蛛抓取？ 百度蜘蛛
81.71.60 这是什么IP段 模仿百度蜘蛛抓取？81.71.60 这是什么IP段 模仿百度蜘蛛抓取？81.71.60 这是什么IP段 模仿百度蜘蛛抓取？看着不是百度蜘蛛……
961
浏览
多城市分站怎么统计百度蜘蛛 泛解析 百度蜘蛛
我们是做多城市的，域名开启了泛解析，每个城市都做了一个分站域名 一个后台，请问下 怎么统计这些分站的蜘蛛抓取情况呢？……
961
浏览
冷门网站的推广怎么做会比较好 百度快照 排名 百度蜘蛛
其实也不算是很冷门之前心血来潮，和朋友一起做了一个成语网站想着成语网站的竞争不是那么激烈就想着试试看，能不能稍微做点个排名，测试一下然后挑选了一个曾经做过成语网站且还有百度快照的域名第三个月百度蜘蛛才姗姗来迟大概现在半年了网站毫无起色~~是……
961
浏览
网站关键词回转窑，9个月没出排名，改了标题后也没什么效果，并且site不在，蜘蛛也长期不抓取，怎么办 Site 排名 百度蜘蛛
http://www.pazdhsb.com就是上面这个站，关键词是回转窑，但是已经9个月多了，排名一直没出，并且百度蜘蛛来爬取的频率也非常低，所以想请大家帮忙看看网站是有什么问题吗。谢谢……
960
浏览
百度蜘蛛一天比一天少，有什么办法增加没？ 百度蜘蛛
百度蜘蛛一天比一天少，有什么办法增加没？
959
浏览
百度蜘蛛突然只爬新文章老文章不爬了，怎么回事 百度蜘蛛 文章
百度蜘蛛突然只爬新文章老文章不爬了，怎么回事？
959
浏览
秒引蜘蛛的蜘蛛池，高质量百度蜘蛛 蜘蛛池 引蜘蛛 百度蜘蛛
<p></p>
958
浏览
百度蜘蛛只抓取图片，如何处理，影响是什么？ 百度蜘蛛
<p></p>
957
浏览
这个百度蜘蛛抓取耗时正常吗？ 404页面 404 百度蜘蛛
<p>基本每天抓取耗时都很长，404也不少抓，也是每天重复抓那几个404页面；现在就是网站数据不稳定，词库一天涨一天降，但是总的流量还行，小幅上涨。不要回答说反馈百度了，没点用！<br><br></……
957
浏览
搜狗和360都收录，还是百度厉害 搜狗 百度蜘蛛
搜狗和360都收录很及时，还是百度厉害，就是不肯收录，发反馈，感觉是看都没看就给回复了，我发反馈说百度蜘蛛抓取了，就是没有放出来，没有展现，直接给我回复一条“百度蜘蛛抓取资源有限”。这种反馈的意义在哪里……
956
浏览
如何让百度快速抓取内页 Robots Site Sitemap 百度蜘蛛
今天看了百度日志，百度蜘蛛有200多个抓取网站，但是主要主要抓取robots和sitemap文件，像产品内页和新闻内部都不抓取。这是怎么回事？有没有大神指点一下。www.snow-china.com……
956
浏览
我的网站做这种链接可以提高百度蜘蛛爬取吗？ 百度收录 Site Sitemap 百度蜘蛛
https://www.taoziwang.net/sitemap.html这种网站地图有用吗？我还主动提交给百度收录里面
954
浏览
954
浏览
这是什么类型的百度蜘蛛？ 百度蜘蛛
<p><br><br></p><p>43.255段的。有没有大神知道这是哪类的百度蜘蛛？</p>……
953
浏览
952
浏览
951
浏览
一个网页要想被百度录入的首要前提，是被百度蜘蛛抓取吗？求大佬解答！ 百度蜘蛛
一个网页要想被百度录入的首要前提，是被百度蜘蛛抓取吗？求大佬解答！
950
浏览
949
浏览
949
浏览
百度蜘蛛不来网站抓取咋回事？ 网站优化 引蜘蛛 百度蜘蛛
网站优化最近蜘蛛就是不来啦，导致蜘蛛不来网站的主要原因有哪些呢？为什么网站不被蜘蛛的爬取，如何才能吸引蜘蛛，增加蜘蛛的到来？平时我们要怎么吸引蜘蛛的来，麻烦各位大神指点一下，如何吸引蜘蛛呢？……
949
浏览
工具类的网站，页面长期没有变化，影响收录吗 百度蜘蛛
最近做的一个图像处理工具类型的网站www.butterpig.top 做好之后页面内容是长期不会变化的，这样岂不是会被蜘蛛给抛弃吗？百度蜘蛛是不是只有经常更新内容的站才会爬取和收录……
949
浏览
今天百度蜘蛛访问量97条，这么多的蜘蛛访问量好还是不好 百度蜘蛛
<p><br></p>
948
浏览
这个是是百度蜘蛛吗我看是加拿大 爬的死链我网站压根都没有 百度蜘蛛
<p></p>
948
浏览
947
浏览
百度蜘蛛未来网站爬取一个星期怎么处理？ 网站优化 引蜘蛛 百度蜘蛛
建站一个星期有了，网站依然没有蜘蛛的访问与爬取，怎么能吸引蜘蛛来网站爬取页面，导致蜘蛛不来的原因是因为新站吗？看到别人的站秒收录，几天就能看到结果他们怎么优化的？网站优化都有什么技巧可以吸引蜘蛛？……
946
浏览
百度蜘蛛不来网站抓取内容怎么解决？ 百度蜘蛛
百度蜘蛛最近就是不来网站了，长时间没有蜘蛛抓取页面，没有蜘蛛的抓取，网站没有数据也不会被收录起来，怎么引导蜘蛛过来，蜘蛛的不来是什么原因导致的？为什么蜘蛛不来了呢？……
946
浏览
老站突然停止收录大概多久恢复 网站收录 百度蜘蛛 文章
今年手里有3个老站，因为S帖过多，造成停止收录，或收录效果变差，有一个之前秒收的，现在好几天才收录一两条，但是提交新发布的链接，蜘蛛立即来抓取，但是没有释放出来。之前发10条收10条，现在发10条最多释放出一条收录。还有一个老站也是因为S帖……
945
浏览
百度不给处理死链？蜘蛛天天抓 百度蜘蛛
并且还给死链权重，其他正常的内页，蜘蛛好像就是看不到，一成了死链就疯狂的去抓，并且还给权重，这百度蜘蛛是不是有病啊？……
944
浏览
在日志里看不到百度蜘蛛，但百度后台又提示抓取频率是100，这是什么情况？ 百度蜘蛛
<p>在日志里看不到百度蜘蛛，但百度后台又提示抓取频率是100，这是什么情况？表示看不明白。</p><p><br></p>……
