网站RObot问题，百度站长查询说有跳转，怎么解决 推荐热议 悬赏3元 已结束
<p><br>如上图</p><p>这是RObot文件内容，让建站方屏蔽后台管理的文件，这是有问题吗</p><p>User-agent: *<br><br>Disallow: /.js$<br>Disallow: /.css$<br><br>Disallow: /bin/<br><br>Disallow: /backend.php/<br><br>Disallow: /runtime/<br>Disallow: /thinkphp/<br><br>Disallow: /application/<br>Disallow: /extend/<br><br>Disallow: /vendor/<br><br>Disallow: /addons/<br><br>Sitemap: https://www.nicerf。Cn/sitemap.xml</a><br></p><p><br></p><p>最后我将文件改成了以下：</p><p>User-agent: *<br><br>Disallow: /.js$<br>Disallow: /.css$<br>Disallow: /bin/<br>Disallow: /vendor/<br>Sitemap: <a href="https://www.nicerf。Cn/sitemap.xml" target="_blank" data-url="www.nicerf。Cn" class="show-5118-data" rel="nofollow">https://www.nicerf。Cn/sitemap.xml<br></p><p><br></p><p><br></p><p>可我百度抓取诊断显示如下有跳转是不是有问题，<b>我在爱站工具包想重新生成sitemap.xml文件提示说是网站没内链，这是不是说爱站的爬虫也抓不到我的网站内页？这是我新改的robots文件还没生效还是问题没在这？或者说要彻底删除这个文件</b></p><p><br><br></p>
1、你确认下，你验证是https，还是http，如果是http那正常，http做了集权肯定返回码301；
2、针对上述情况，只需要重新验证绑定https即可；
3、自己去检索判断下，URL返回码问题，URL是http的还是https。
不要听百度站长的，有时候百度反馈的会误导人
百度反馈的会误导人
不要听百度站长的，有时候百度反馈的会误导人
首先，你的 Robots.txt 文件主要是用于控制搜索引擎蜘蛛爬取你的网站时的行为。对于你提到的问题，以下是一些建议：
1. Robots.txt 文件优化：
你改进的 Robots.txt 文件看起来已经合理，但还可以优化。你可以使用$ 符号来匹配 URL 结尾，以确保只匹配以这些结尾的 URL。同时，你可能想要考虑使用通配符来更精确地指定文件和目录，例如：```plaintext
User-agent: *
Disallow: /.JS$
Disallow: /.css$
Disallow: /bin/
Disallow: /vendor/
Sitemap: ```
这样的规则可以更清晰地表示你希望阻止搜索引擎爬取的内容。
2. 跳转问题：
百度站长工具显示有跳转可能与 Robots.txt 文件不直接相关。如果你的网站中存在重定向问题，可能需要检查以下几点：- 站点配置： 确保站点的域名配置正确，没有不必要的重定向。
- 服务器配置： 检查服务器是否有配置重定向规则，确保这些规则没有问题。
- 链接跳转： 在网站中检查是否有不必要的链接跳转。
3. 文件：
你的 文件已经包含在 Robots.txt 中，确保这个文件是有效的，并且其中包含了你希望搜索引擎爬取的所有重要页面。你可以手动访问 文件，确保其中的链接都是正确的。4. Robots.txt 文件生效时间：
Robots.txt 文件一旦修改，不是立即生效的，搜索引擎需要时间来重新索引网站。你可以在百度站长工具中提交 文件，这有助于搜索引擎更快地发现你的网站变化。5. 爱站工具包问题：
爱站工具包提示网站没内链可能是由于其爬虫在处理你的网站时遇到了问题。确保你的网站在技术层面上是正常的，尽管 Robots.txt 文件中的规则会影响蜘蛛的行为，但不应该完全阻止内链的发现。最后，如果问题持续存在，建议定期检查搜索引擎工具中的错误和警告，确保你的网站在技术和内容上都符合搜索引擎的标准。如有需要，你也可以向搜索引擎提交重新索引请求。
不要听百度站长的，有时候百度反馈的会误导人
