620
浏览
大佬们帮忙看下网站有没有robots？怎么看的？ Robots
https://www.guojupijiu.com/
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
620
浏览
网站屏蔽url，只能用robots文件么？ Robots
有没有其他的方法不允许蜘蛛抓取我的一些url?
619
浏览
如何写一个合理的robots.txt文件 Robots
如何写一个合理的robots.txt文件
615
浏览
没被抓取过和收录的页面改动会有影响吗 Robots
robots禁止抓取的页面，没被抓取过和没被收录的页面改动，改版会有影响吗 https://www.darwintel.com/……
614
浏览
百度蜘蛛只抓取robots文件就不抓取其他页面时为什么 Robots 百度蜘蛛
www.mixmt.cn
614
浏览
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？ Robots Nofollow
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？
614
浏览
robots.txt中可以屏蔽中文url吗？ 中文URL Robots
请问下各位，robots.txt，中如何屏蔽中文url，一个目录下，有英文url和中文url，xxx.com/xxx/吃饭/xxx.com/xxx/手机/xxx.com/xxx/abc/如何把其中的中文url在robots.txt中屏蔽呢？……
613
浏览
大家帮忙分析下我的蜘蛛抓取日志文件 Robots 百度蜘蛛
<p>我的抓取频率一直很低，也不收录，一看日志文件，百度蜘蛛怎么都是抓取robots文件，代表我的robots文件写错了吗，求解答</p><p><br></p>……
613
浏览
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录 Robots 百度蜘蛛
<p>网站的robots.txt:</p><p><br></p><p>网站的抓取日志;</p><p></p><p><……
613
浏览
关于robots的骚操作带来一个血的教训！ Robots
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
612
浏览
612
浏览
css js大家在robots屏蔽了吗？有必要吗？ Robots JS
因为每天爬都有爬css和js这些 看有种说法说是会浪费蜘蛛，那要不要屏蔽呢？有意思吗？
612
浏览
帮我看下 我这个网站的robots文件有什么问题没有 Robots
<p><br></p>
612
浏览
612
浏览
百度Robots检测失败 Robots
这个检测失败，然后抓取是正常的，另外在其它网站Robots这里检测也是正常。检测失败提示：您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500……
612
浏览
611
浏览
网站死链的正确处理方法 Robots 404 排名 索引
在各位站长运营网站的过程中，一定会遇到死链的情况，那么大家都是怎么处理死链的呢？在SEO优化中，死链如何进行正确处理呢？1、收集死链前面所做的网站死链查检工作，都是为这一步做准备，那些网站死链要如何处理呢？通过网站死链检测工具（网页版在线检……
607
浏览
百度robots协议检测的问题，求助一下 Robots
<p><br></p><p>百度站长后台检测显示错误，但是检测未验证站点就可以，www.fysdcm.com 日志也爬了已经禁止的目录，反馈百度也一直没说法</p><p>……
605
浏览
robots文件限制百度抓取.会导致收录掉吗？ Robots
7月2日robots文件禁止抓取,当天修改后到今天7月6日都是抓取错误.应该是百度的缓存,但是在这几天百度给我收录全部掉了！你们有没有这么个情况？……
604
浏览
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有 Robots
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有，我想写robots的话应该怎么个写法https://www.walltechsystem。Cn/news/qiyexinwen……
604
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？
602
浏览
百度一直抓取已经删除的链接，如何减少抓取这样的链接？ Robots 网站内链 404 索引
百度一直抓取已经删除的链接，抓取404链接的占比已经是200链接的好几倍了，如何减少抓取这样的链接？在网站内链和网站地图已经剔除了这些链接，只有百度在疯狂的抓取，其它搜索引擎都不会大量抓取已经删除的链接。由于url规则因素无法通过robot……
602
浏览
602
浏览
咨询一下，robots这么写？有没有问题 Robots PHP JS
咨询一下路过的大神们，robots这么写？有没有问题？ 如果有，第几个需要修改？1，User-agent: *,2，Disallow: /*.css$,3，Disallow: /*.js$,4，Disallow: /*.php$,5，Dis……
601
浏览
各位我这样设置robots应该没有错的吧？ Robots
<p><br></p><p><br></p><p>星号就是垃圾符号。。</p>
601
浏览
搜狗的蜘蛛怎么引，robots都已经全部可以爬的，怎么搜狗的排名一个都没有的？ Robots 搜狗 排名
<p>搜狗的指数那么大，怎么就没有排名呢？</p><p><br></p>
600
浏览
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？ Robots PHP
各位大神，禁止蜘蛛抓取.php后缀，robots要如何屏蔽掉？例如以下这些/Bak/index.php/bakk/index.php/beifei/index.php/bakup/index.php/beifen/index.php……
597
浏览
DZ论坛设置伪静态了需要robots禁止抓取动态链接吗？ Robots 静态
DZ论坛设置伪静态了需要robots禁止抓取动态链接吗？我看还有在抓动态链接的，会不会双收录Disallow: /*?*这样对吧？……
595
浏览
robots文本如何屏蔽带?结尾的链接，怎么编写？ Robots
robots文本如何屏蔽带?结尾的链接，怎么编写？
594
浏览
被加入robots做屏蔽的 栏目为啥还能有新的文章收录勒 Robots 文章
网站被挂马了，集中在一个栏目里面出来其他文章收录。然后把这个栏目加入robots文件做屏蔽，可是为啥这个栏目下还会有新的文章被收录？？？？是robots文件没起作用吗……
592
浏览
大神们，帮我看下这个robots文件有问题没 Robots
<p><br></p>
592
浏览
请问网站有百万级的url，应该然后制作sitemap提交？ Robots Site Sitemap
①是该做个Sitemap.xml中包含其它Sitemap(Sitemap1.xml，Sitemap2.xml，Sitemap3.xml.....);只把Sitemap.xml放进robots?②还是分别把Sitemap1.xml，Sitem……
590
浏览
Sitemaph 和 Robots 都为0，这对优化的影响大不大？ Robots Site
Sitemaph 和 Robots 都为0，这对优化的影响大不大？
590
浏览
589
浏览
蜘蛛一直抓取api链接 Robots
Robots屏蔽没有用还是抓取,查了ip段是百度的,哪位大神了解的
587
浏览
网站大量页面删除，已经使用robots.txt文件屏蔽，还需要提交死链接吗？ Robots 死链接 文章
网站内容更换，删除大量文章页面使用robots屏蔽共同栏目页，这些页面还需要去资源平台提交死链吗？……
587
浏览
网站建设中，禁止robots全站抓取一个月多会有影响吗 Robots 网站建设
网站还在建设中，禁止robots全站抓取一个月多会有影响吗User-agent: *Disallow: /
587
浏览
一个目录下有两千多的页面，但是却没有一个是有排名的，这到底是哪里出错？ Robots 排名
<p>2000多的页面，里面应该也有600多的收录，可问题是一个排名都没有！！！</p><p>这样下去根本就是毫无作用啊！</p><p>大半年都没什么收录了，现在维持也维持不了多久……
