Robots

网站在搜狗站长工具提交了，快两个月了 连首页都没收录。 Robots 站长工具 搜狗

每天搜狗蜘蛛来爬 只爬 robots.txt 然后状态码是 400，用各种工具验证过都是200状态，请问有大佬遇到过这个情况的吗？……

当百度site第一个出现首页的index该怎么解决？ Robots Site

1、有什么办法可以更好的解决？2、不解决会有什么影响？3、使用robots的方法会不会有影响？……

robots把/images/文件屏蔽了，那么文章中上传的图片在ALT标签和title标签中添加关键词还有意义吗？图片超链接是否只起到跳转的作用了？ Robots ALT标签

网站一个栏目一直都没有被收录现在权3? Robots 静态

我是dede搭建的，都是纯静态页面，robots也没有，主要是关键词多，还有就是靠时间养的，我是仿的站，对seo角度不是很友好啊！但是内容不是采集的都是原创的。我想知道怎么提升收录？……

今天用百度站长工具测试一下robots出现问题了，大家会不会这样还是只有我这样？ Robots 站长工具 百度站长工具

<p><br></p>

为什么百度快照更新了好几次就是不更新，还是原标题跟描述。兄弟们有遇到过这个问题吗？ Robots 百度快照 快照更新 百度资源平台

robots没有拦截，访问网站时确实是改了，但快照就是更新不成功，还有百度资源平台那个robots更新一直提示请求失败。……

请教大侠，网站地图原因？ Robots Site Sitemap

网站地图SitemapX制作网站地图时需要上传robots文件吗？

可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？ Robots

可以用robots.txt 文件禁止搜索引擎访问 上传的图片文件夹吗 ？会对网页的正常收录有影响吗？……

robots.txt屏蔽特定页面怎么写？ Robots

老哥们，我想问个问题，就是假如我网站下面有:a.com/1.html a.com/2.html ... a.com/1000.html 要屏蔽以8开头的html页面，robots.txt Disallow应该怎么写？  ……

这样设置robots 有问题吗？？ Robots 404

我的robots是这样设置的，目前文章页面不抓取，不知道哪里设置有没问题，懂得人帮我看下哈 谢谢User-agent: * Disallow: /storage/ Disallow: /data/ Disallow: /so? Disall……

网站收录突然间被全部被百度屏蔽展现了 网站收录 Robots Site

今天检查网站时,突然发现site+域名 收录全部没有展现了，测试了一下抓取正常,robots也正常,网站基本是每天正常维护，没有使用任何违规手法，这种情况除了反馈还有没有办法解决呢？……

lumen框架开发的网站，robots主要限制哪些文件 Robots

如题，有大佬告知吗？？？

discuz程序robots直接屏蔽掉所有动态页面怎么样？ Robots Discuz

discuz程序robots直接屏蔽掉所有动态页面怎么样？

请问这种情况该如何设置robots文件？ Robots Nofollow 5118

这个网站，比如  http://www.qiuxue88.com/pages_13/是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/也就是 www.qiuxue88.com/page……

robots.txt文件 里可以有空行吗？ Robots

 robots.txt文件 里可以有空行吗？比如：Disallow: /plus和 Disallow: /data中间隔了几行User-agent: * Disallow: /plus Disallow: /data……

网站没有robots文件有什么影响 Robots

site无数据，有索引量，被降权的现象！急 Robots Site 索引量

网站突然被降权的现象，索引量800多万，但site数据没有，包括首页数据没有，服务器一直运行正常、robots.txt文件也正常。不知道哪里出了问题。……

新站robots.屏蔽后为什么还是被抓取收录？ Robots

新站robots.屏蔽后为什么还是被抓取收录？

这几天很多访问404的怎么回事？ 推荐热议 Robots 404页面 404

请教下大家，最近百度一直来访问这些404的页面，都是一直在重复访问这些的，我统计了下，总共97个404页面，天天来，一天差不多访问几百次，我也多次在百度站长那提交了这些死链接过去，但是还是一直来访问，后面提交了百度反馈，让我设置robots……

新站点，二十多天不收录站点，然后没有蜘蛛访问？？ Robots 网站日志 站长平台

<p>新站点，二十多天不收录站点，然后去站长平台弄自动推送后<a href="http://www.wanjiadenhuo.com/" target="_blank" data-u……

百度很久都不收录我网站，大家帮我看看啊 Robots 熊掌ID 代码 索引

<p>以前我网站发东西都是秒收录。</p><p>上次改一个测试站的robots.txt ，想把全部搜索引擎都禁了，不小心改到主网站的了，后来发现后就修复了。</p><p>好像就是从……

meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？ Robots Nofollow

meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？

百度站长网robots错误码：500 Robots

前几天网站变慢，更新把环境和程序装了一下，之后查看百度站长网更新robots，出现，您的服务器配置有误，百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500。是什么意思？……

robots更新问题，从禁止所有蜘蛛抓取，到允许蜘蛛抓取已经调整过了。快照未更新 Robots 百度收录 索引

新站长时间使用robots禁止所有蜘蛛抓取，但还是被百度收录了，快照显示，网站标题下方，提示由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 ，，robots.txt已经更换为允许蜘蛛抓取，……

之前犯了个错误，ROBOTS把图片给禁了，昨晚刚刚改回来，这样会有利于收录吗？ 推荐热议 Robots 收录率 Site

请教一下大家，我的站  猫猫狗狗趣事   。之前犯了个错误，ROBOTS把图片给禁了，SITE没法出图，收录率也不高，昨天晚上改回来了，这样收录会有改善吗。……

请教百度收录伪静态的问题！ Robots 伪静态 PHP

我的站是用php动态做的，最近改成了伪静态，请问我要怎么让百度只收录伪静态呢，我现在的robots是这样写的  大家看看这样可以吗User-agent: *Disallow:/*.php$ ……

robots.txt协议问题？ Robots

Disallow: /adminDisallow: /images与Disallow: /admin/Disallow: /images/有区别吗？

robots.txt文件已经删除了，但是网站显示被限制抓取了怎么办？ Robots 站长工具

<p>robots.txt文已删除，什么时候搜索引擎才会再抓取我们网站，我看站长工具已经好几天没有来抓取了</p><p><b></b><i></i><……

求助，Robots没有屏蔽但是站长平台抓取测试提示屏蔽 Robots 站长平台

<p>内页明明没有设置robots屏蔽，但是就是模拟抓取显示robots屏蔽，主页可以正常抓取，</p><p></p>……

robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？ Robots

robots.txt 文件如何禁止搜索引擎访问某个子目录下某个页面之外的其他所有页面？

我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？ Robots 百度收录

我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？

百度站长平台robots无法检测了，你们都是这样吗 Robots 站长平台

百度站长平台robots无法检测了，之前还可以正常失败，最近总是提示：请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。你们也是这种情况吗，现在我有些不想被抓取的页面也收录了……

网站robots文件常规怎么设置？ 推荐热议 Robots

直接允许全部吗？还是说有什么特殊目录需要限制？# robots.txt generated at https://meimeifa.com/robots/  User-agent: * Disallow: ……

robots文件问题咨询 Robots 文章

robots文件问题咨询robots文件既然分Allow: /和Disallow: /  我的问题是我先要被抓取的很简单只有首页、栏目页、文章页，除此以外各种图片、会员、任务、等等目录都没有收录价值而且非常杂乱，禁止起来比较麻烦。那么我只书……

空压机行业网站只收录新闻页面不收录栏目页面 CMS Robots PHP phpcms

网站程序PHPCMS，原来页面都是动态的地址带?那种，全站作静态化 生成HTML页面后，发的新闻正常收录，栏目页面一个都没收录，已经持续3个月了。大家帮我找下原因谢谢了啊 www.whsoar.comrobots这样写的：# # robot……

图片404影响网站优化吗？？ Robots 日志分析 404

<p>日志分析里，不知道什么原因有好多图片没有（图片链接都是自己网站的 ），导致出现很多404，这样影响网站优化的吗？？</p><p>把这些图片都找回来应该不现实，那这种问题该怎么处理的呢??</p……

robots.txt可以设置只抓取html文件么？ Robots PHP JS

像这样：User-agent: *Disallow: /*?*Disallow: /*.php$Disallow: /*.js$Disallow: /*.css$Disallow: /includeDisallow: /templets……

有趣的问题！网站不兼容ie在使用ie访问时提升用户升级浏览器，导致抓取出错 Robots 浏览器

<p>给首页加了判断，当用户使用ie访问时，会提示用户浏览器版本过低升级浏览器，做了这个之后百度抓取首页标题成了提示页面的标题如下</p><p><br></p><p>这……

百度不讲武德，我该如何整站删除百度收录？ Robots Site 根目录 404

公司的站点不管是pc还是wap收录都过百万，网站有很多内容已经下架但是百度还依然保留收录快照，为此有一些早已经下架陈年违规内容保留的快照被网监给找到导致公司被罚数万元，领导现在让我解决这个问题，我的做法是先：1、在网站根目录下面添加robo……