1571
浏览
提一个百度收录很理想而搜狗收录和索引均少的问题 诚心等解答 推荐热议 Robots 搜狗 文章
<p>提一个百度收录很理想而搜狗收录和索引均少的问题。</p><p>我们是企业官网，属于建材行业的陶瓷砖企业，网站名称是“玛布里瓷砖”，建设到现在超6年，一直以来所有搜索引擎的收录、索引数据都挺好看的，但……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1563
浏览
当百度site第一个出现首页的index该怎么解决？ Robots Site
1、有什么办法可以更好的解决？2、不解决会有什么影响？3、使用robots的方法会不会有影响？……
1561
浏览
网站收录突然间被全部被百度屏蔽展现了 网站收录 Robots Site
今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……
1560
浏览
网站在搜狗站长工具提交了，快两个月了 连首页都没收录。 Robots 站长工具 搜狗
每天搜狗蜘蛛来爬 只爬 robots.txt 然后状态码是 400，用各种工具验证过都是200状态，请问有大佬遇到过这个情况的吗？……
1560
浏览
网站一个栏目一直都没有被收录现在权3? Robots 静态
我是dede搭建的，都是纯静态页面，robots也没有，主要是关键词多，还有就是靠时间养的，我是仿的站，对seo角度不是很友好啊！但是内容不是采集的都是原创的。我想知道怎么提升收录？……
1560
浏览
网页被robots了，为什么还会被百度收录 Robots 百度收录
网页被robots了，为什么还会被百度收录
1557
浏览
为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台
robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……
1555
浏览
1554
浏览
请教大侠，网站地图原因？ Robots Site Sitemap
网站地图SitemapX制作网站地图时需要上传robots文件吗？
1551
浏览
可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？ Robots
可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？……
1551
浏览
今天用百度站长工具测试一下robots出现问题了，大家会不会这样还是只有我这样？ Robots 站长工具 百度站长工具
<p><br></p>
1551
浏览
1549
浏览
robots.txt屏蔽特定页面怎么写？ Robots
老哥们，我想问个问题，就是假如我网站下面有:a.com/1.html a.com/2.html ... a.com/1000.html 要屏蔽以8开头的html页面，robots.txt Disallow应该怎么写？ ……
1548
浏览
robots更新问题，从禁止所有蜘蛛抓取，到允许蜘蛛抓取已经调整过了。快照未更新 Robots 百度收录 索引
新站长时间使用robots禁止所有蜘蛛抓取，但还是被百度收录了，快照显示，网站标题下方，提示由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 ，，robots.txt已经更换为允许蜘蛛抓取，……
1547
浏览
lumen框架开发的网站，robots主要限制哪些文件 Robots
如题，有大佬告知吗？？？
1547
浏览
discuz程序robots直接屏蔽掉所有动态页面怎么样？ Robots Discuz
discuz程序robots直接屏蔽掉所有动态页面怎么样？
1546
浏览
请问这种情况该如何设置robots文件？ Robots Nofollow 5118
这个网站，比如 http://www.qiuxue88.com/pages_13/是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/也就是 www.qiuxue88.com/page……
1545
浏览
百度很久都不收录我网站，大家帮我看看啊 Robots 熊掌ID 代码 索引
<p>以前我网站发东西都是秒收录。</p><p>上次改一个测试站的robots.txt ，想把全部搜索引擎都禁了，不小心改到主网站的了，后来发现后就修复了。</p><p>好像就是从……
1544
浏览
新站robots.屏蔽后为什么还是被抓取收录？ Robots
新站robots.屏蔽后为什么还是被抓取收录？
1542
浏览
这样设置robots 有问题吗？？ Robots 404
我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈 谢谢User-agent: * Disallow: /storage/ Disallow: /data/ Disallow: /so? Disall……
1542
浏览
新站点，二十多天不收录站点，然后没有蜘蛛访问？？ Robots 网站日志 站长平台
<p>新站点，二十多天不收录站点，然后去站长平台弄自动推送后<a href="http://www.wanjiadenhuo.com/" target="_blank" data-u……
1538
浏览
robots.txt文件 里可以有空行吗？ Robots
robots.txt文件 里可以有空行吗？比如：Disallow: /plus和 Disallow: /data中间隔了几行User-agent: * Disallow: /plus Disallow: /data……
1536
浏览
网站robots文件常规怎么设置？ 推荐热议 Robots
直接允许全部吗？还是说有什么特殊目录需要限制？# robots.txt generated at https://meimeifa.com/robots/ User-agent: * Disallow: ……
1535
浏览
百度不讲武德，我该如何整站删除百度收录？ Robots Site 根目录 404
公司的站点不管是pc还是wap收录都过百万，网站有很多内容已经下架但是百度还依然保留收录快照，为此有一些早已经下架陈年违规内容保留的快照被网监给找到导致公司被罚数万元，领导现在让我解决这个问题，我的做法是先：1、在网站根目录下面添加robo……
1535
浏览
百度站长网robots错误码：500 Robots
前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……
1533
浏览
site无数据，有索引量，被降权的现象！急 Robots Site 索引量
网站突然被降权的现象，索引量800多万，但site数据没有，包括首页数据没有，服务器一直运行正常、robots.txt文件也正常。不知道哪里出了问题。……
1529
浏览
robots.txt协议问题？ Robots
Disallow: /adminDisallow: /images与Disallow: /admin/Disallow: /images/有区别吗？
1524
浏览
之前犯了个错误，ROBOTS把图片给禁了，昨晚刚刚改回来，这样会有利于收录吗？ 推荐热议 Robots 收录率 Site
请教一下大家，我的站 猫猫狗狗趣事 。之前犯了个错误，ROBOTS把图片给禁了，SITE没法出图，收录率也不高，昨天晚上改回来了，这样收录会有改善吗。……
1523
浏览
百度站长平台robots无法检测了，你们都是这样吗 Robots 站长平台
百度站长平台robots无法检测了，之前还可以正常失败，最近总是提示：请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。你们也是这种情况吗，现在我有些不想被抓取的页面也收录了……
1520
浏览
1520
浏览
竞价的首页动态url被大量收录，如何处理？ Robots canonical 竞价
<p>站点是手机站，刚接手的时候发现站点收录全是首页的，仔细一看是首页用来做竞价了，于是带有各种参数的动态url（如：<a href="http://m.guanlingls.com/?source=baidu&……
1519
浏览
robots.txt文件已经删除了，但是网站显示被限制抓取了怎么办？ Robots 站长工具
<p>robots.txt文已删除，什么时候搜索引擎才会再抓取我们网站，我看站长工具已经好几天没有来抓取了</p><p><b></b><i></i><……
1518
浏览
图片404影响网站优化吗？？ Robots 日志分析 404
<p>日志分析里，不知道什么原因有好多图片没有（图片链接都是自己网站的 ），导致出现很多404，这样影响网站优化的吗？？</p><p>把这些图片都找回来应该不现实，那这种问题该怎么处理的呢??</p……
1516
浏览
请教百度收录伪静态的问题！ Robots 伪静态 PHP
我的站是用php动态做的，最近改成了伪静态，请问我要怎么让百度只收录伪静态呢，我现在的robots是这样写的 大家看看这样可以吗User-agent: *Disallow:/*.php$ ……
1515
浏览
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？ Robots Nofollow
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？
1515
浏览
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？ Robots 百度收录
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
1515
浏览
网站一直被百度抓取wp-json怎么办？ Robots JS WordPress
<p>WordPress刚建站一个月，百度就抓取乱七八糟的链接，后面用robots.txt禁止了，最近又开始抓取wp-json，用robots禁止几天都没用，该怎么办？需要在百度反馈下吗？帮我看看网站有违规吗？@蛙哥!</……
1512
浏览
空压机行业网站只收录新闻页面不收录栏目页面 CMS Robots PHP phpcms
网站程序PHPCMS，原来页面都是动态的地址带?那种，全站作静态化 生成HTML页面后，发的新闻正常收录，栏目页面一个都没收录，已经持续3个月了。大家帮我找下原因谢谢了啊 www.whsoar.comrobots这样写的：# # robot……
1510
浏览
最新网站降权，robots.txt也抓取不了 Robots h2 阿里云
最新网站降权，robots.txt也抓取不了，用百度云的服务器就是抓取不了，但是用阿里云的却可以，我线上给百度站长提供了解决需求也不解决。下面是我的反馈案例：你好，我的robots 线上可以正常访问的，地址：http://www.1stdy……
