Robots

网站大量IP同时访问导致网站打不开，有好的解决办法吗 Robots 网站打不开

目前做了以下工作1.已经用了robots禁止了垃圾蜘蛛的访问2.对于部分恶意IP进行了封禁3.设置了并发连接数限制情况有缓解，但是每天还会出现在一个时间点大量ip访问的问题，导致内容拉满，网站不能访问……

关于网站只收录新闻栏目页问题及robots屏蔽后台问题 推荐热议 Robots APP 404

最近公司网站收录遇到一些问题，就是一直重复收录新闻栏目页，问题大概了解到是蜘蛛抓取的链接是重复累加的链接如“/news/news/show/id/480/news/show/id/509/news/show/id/565/news/show……

看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？ Robots 404页面 网站日志 404

看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？ Robots 404页面 网站日志 404

url被删除返回404后还用robots屏蔽吗？ Robots 404

404需要在robots文件中屏蔽吗？ Robots 404

看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？今天流量直接无征兆滑铁卢了，救命……

robots文件限制百度抓取.会导致收录掉吗？ Robots

7月2日robots文件禁止抓取,当天修改后到今天7月6日都是抓取错误.应该是百度的缓存,但是在这几天百度给我收录全部掉了！你们有没有这么个情况？……

网站的robots协议在哪里看？ Robots

百度站长工具的Robots不能用了吗 Robots 站长工具

百度站长工具的Robots不能用了吗？显示“请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。”……

网站robots.txt文件被重定向会影响网站收录吗？ 网站收录 Robots

各位seo大神们，我在搜索资源平台监测网站robots.txt稳健，提示该稳健被重定向了，网站robots.txt文件被重定向会影响网站收录吗？……

网站业务文件没有在根目录下面是否有影响 Robots 404页面 根目录 404

首先，我不太确定是否有什么不好的影响，我和建站人员沟通后了解到根目录是在我们站点文件夹下public这个文件，public这个文件夹里面放了404页面，站点地图及robots文件。访问XXX/robots.txt也确实能访问。那就确定根目录……

如果robots文件把网站所有页面都做禁止抓取，那百度蜘蛛是不是就不会爬我这个网站了？ Robots 百度蜘蛛

网站换了新的服务器之后，过了很久还一直抓取失败，检测了robots文件没有问题 Robots 关键词排名 排名

网站换了服务器过了一周了，显示还是抓取失败，原因是robots文件封禁，但是检测robots文件没有问题了。所有的关键词排名都没有，之前的链接是死链提交了。想知道什么时候才会有抓取成功，正常收录。……

生成了多个网站地图，robots内怎么设置？ Robots Site Sitemap

生成了多个网站地图http://www.xxx。Com/sitemap.xmlSitemap: http://www.sdzjw。Com/sitemap/sitemap_zx.xmlhttp://www.xxx。Com/sitemap/si……

这几天很多访问404的怎么回事？ 推荐热议 Robots 404页面 404

请教下大家，最近百度一直来访问这些404的页面，都是一直在重复访问这些的，我统计了下，总共97个404页面，天天来，一天差不多访问几百次，我也多次在百度站长那提交了这些死链接过去，但是还是一直来访问，后面提交了百度反馈，让我设置robots……

请问蜘蛛大量抓取js和css文件，用robots屏蔽会不会对网站造成影响 Robots JS

rt，最近检查蜘蛛日志，发现js和css文件的抓取词数已经是主力目录的接近五倍了，请问我这里如果屏蔽掉这些文件抓取的话，会不会影响到蜘蛛对页面样式的读取，如果不屏蔽的话，后续会不会影响收录，多谢各位大神。……

paper写作网站的robots文件怎么写？ Robots

在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误，我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢？……

目前网站的robots协议变成了这个，这个到底是允许还是不允许啊？ Robots

User-agent: GoogleBotDisallow: *User-agent: googleBotDisallow: *User-agent: BaiduspiderDisallow: *User-agent: baiduspide……

网站内容没有被搜索引擎抓取可能有多种原因，以下是一些可能的原因和解决方法： Robots 黑客 索引

网站新上线：如果网站是新上线的，搜索引擎可能还没有发现它。在这种情况下，你可以向搜索引擎提交网站的 URL，以加快收录速度。网站结构问题：如果网站的结构不合理，例如网站的链接层次过深、页面之间缺乏内部链接等，可能会影响搜索引擎的抓取效果。解……

百度蜘蛛大量访问我网站上不存在的页面，请问是否可以通过写robots.txt来禁止它访问？ Robots 百度蜘蛛

百度站长提示robot有跳转，爱站工具包提示要做跳转，问题出现在哪 Robots 跳转 文章

<p>这个问题原来提过，网站近2个月没收录（期间起码写了30篇文章）。就是百度站长提示robots文件有跳转</p><p><br><br></p><p>下面……

为什么我的网站在百度上之前还能搜索到，现在却搜索不到了？ Robots 老域名 阿里云

请大神帮我看看：我的网站一直更新内容、做维护，前几天还能在百度搜索到，最近百度搜索不到了。我自己在百度上也查找了一下可能的原因，排除了一些因素：比如使用的域名是被百度惩罚过的老域名，我的域名yanxuan123。Com没有这种情况；服务器不……

求助，Robots没有屏蔽但是站长平台抓取测试提示屏蔽 Robots 站长平台

<p>内页明明没有设置robots屏蔽，但是就是模拟抓取显示robots屏蔽，主页可以正常抓取，</p><p></p>……

网站日志蜘蛛爬行的页面，很多都不存在，是怎么回事啊 Robots 网站日志

我今天下载了网站日志看了看，大多数的蜘蛛爬行的页面，实际都不存在的，这种正常吗，我刚才写了一个robots文件，把那些目录都禁止了，这样可以吗……

SEO做网站地图时，百度检测网站robots文件出现错误怎么办？ Robots

我网站的robots.txt协议有没有什么问题啊 Robots PHP

User-agent: * Disallow: /*?* Disallow:/*index.php* User-agent: JikeSpider Disallow: / User-agent: AhrefsBot Di……

zblog如何通过robots禁止百度收录分类页面 Robots 百度收录 zblog

<pre><br></pre><p><br><br></p><p>通过<span>Disallow: /category/*后连内页……

网站地图sitemap有用吗，怎么不见蜘蛛来抓取 网站收录 Robots Site Sitemap

网站写了robots.txt，但是怎么不网站收录呢。

现在不备案的域名想收录是不是基本上可能性很小？ Robots 备案 排名

一个香港云服务器了做了8个网站，程序用的织梦，网上找到模板，内容采用的147采集的，基本上每天更新。域名都是在聚名买的有建站记录的老域名，没什么黑灰历史。唯一就是网站都没有备案，现在2个多月过去了，除了有一个收录了（但是没排名）。其他都是没……

求助：请问下站长显示：您的robots文件设置了重定向跳转,暂时无法查看。这个是怎么回事呀 Robots 跳转

www.weileit。Com   网站改版后一直不收录，友情链接也检测不到，站长提示：您的robots文件设置了重定向跳转,暂时无法查看，请问下哪里有问题呀……

网站登录页面链接用不用做robots？ Robots 网站日志 排名

<p>今天看了下网站的流量，发现大部分的流量都是用户登录所致，那么请问这种不做排名的登录页面用不用做robots?我看了网站日志没有发现爬虫抓取这个登录页面的记录，但是用百度抓取诊断这个链接也能抓通。</p><……

这样的robots协议，有效吗？ Robots

<p></p>

百度站长网robots错误码：500 Robots

<p><br>最近网站出现问题，重装环境和程序出现的情况</p>