683
浏览
网站首页总间隔一段时间就收录消失，是什么情况？ Robots 友情链接 排名
站首页收录总是隔段时间就消失一回，并没有做改动，也符合搜索算法内容,robots.txt检查没问题，服务器稳定，全站排名稳定，友情链接没问题，只有首页隔段时间就不收录了。。请问，这样是什么原因呢？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
683
浏览
683
浏览
网站robots.txt一般禁止蜘蛛抓取哪些内容 Robots JS
正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
677
浏览
网站tag目录下死链太多怎么办？能直接禁止抓取吗 Robots
网站tag目录下死链太多怎么办？能直接禁止抓取吗tag插件已经卸载，不打算要tag目录了，可以使用 robots.txt 禁止收录 tag目录吗？……
676
浏览
关于nofollow问题 Robots Nofollow 索引
部分网页已经添加了nofollow，而且robots协议里面也禁了，但是搜索引擎还是不停的抓取，有的甚至还收录了，应当如何处理？……
676
浏览
网站robots 文件有必要写吗，我的网站这样写有问题吗？ Robots
网站robots 文件有必要写吗，我的网站这样写有问题吗？
676
浏览
673
浏览
网站未准备好上线之前是否要操作robots封禁蜘蛛？ Robots
准备上线后解除蜘蛛封禁是否来得及，会有影响吗？
672
浏览
669
浏览
这个也没有输入错误，难道是没更新 Robots
<p></p>
668
浏览
建的站在站长工具上检测robots文件显示500错误，这种怎么解决？ Robots 站长工具
建的站在站长工具上检测robots文件显示500错误，这种怎么解决？
667
浏览
水务集团的官方网站，突然就掉了，而且还做了官方认证的。@推推娃 Robots
http://www.cncqsw.com/看着像robots的问题，
665
浏览
robots.txt 设置有必要吗？ Robots 排名 索引
有的网站没设置robote照样排名很好，玩意还有价值吗？robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。http://ww……
663
浏览
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？ Robots 404
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？就是想提高网站的蜘蛛来不浪费资源。。……
663
浏览
大佬帮忙看看，网站的robots文件，是不是有错误？ Robots
如题，总感觉网站robots文件抒写不对www.lanjingcs.com
662
浏览
662
浏览
网站地图需不需要在首页给个入口？ Robots 索引
<p>我记得之前看到过 说搜索引擎蜘蛛来访网站，首先是爬robots.txt文件，如果我在robots.txt文件中放了网站地图的入口，是不是就不用在首页给网站地图的链接呀？如果给了链接，算不算作弊呢？</p><……
659
浏览
658
浏览
658
浏览
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页! Robots 百度蜘蛛
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页!
656
浏览
robots.txt如何屏蔽垃圾外链网址？内容如何写？ Robots
robots.txt如何屏蔽垃圾外链网址？内容如何写？
652
浏览
Robots这东西站长们还有搞吗 Robots
Robots：可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。我好想都没特意去搞过这东西。……
648
浏览
用公司的老域名建网站都两个月了还是只收录首页而已，其他搜索引擎都很正常！ Robots Site Sitemap 索引
<p>开始以为是robots问题所以把权限都开了，还特意写上允许SITEMAP文件抓取，但是奇怪的是用推送工具推送只能推送首页如图<br>还有一个问题就是sitemap更新不正常等了几天了还是这样的情况，更新过也没有……
645
浏览
大佬们帮我看下是不是只有绿标是真百度蜘蛛，红标都是假的冒充百度蜘蛛？ Robots 百度蜘蛛
<p>大佬们帮我看下是不是只有绿标是真百度蜘蛛，红标都是假的冒充百度蜘蛛？这种蜘蛛怎么禁止访问啊，每天来爬取很多次，不知道干嘛的，可以设置robots.txt文件禁止访问嘛？比如这样设置：</p><p>U……
643
浏览
640
浏览
为什么强制HTTPS百度检测不到robots Robots
为什么强制HTTPS百度检测不到robots另外我的网站就是不收录首页；就算收录也是带？的首页
635
浏览
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？ Robots 百度蜘蛛
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？
634
浏览
网站收录首页有两个月了，具体是被百度屏蔽域名了吗？ 网站收录 Robots
<p><a href="http://www.sdmynj.com/" target="_blank" data-url="www.sdmynj.com" cla……
634
浏览
robots.txt这段话是什么意思？ Robots
Disallow: /?*utm*
633
浏览
631
浏览
网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？？ Robots
网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？？
629
浏览
624
浏览
请问一下使用robots禁止内页的分页影响蜘蛛捉取吗和优化吗 Robots
https://www.sncitie.com/category/ctzs/page/2例如这种我想把分页的禁止蜘蛛去捉取page这个，但我不知道影不影响优化……
621
浏览
如果正确的在robots屏蔽不要被抓取的内容? Robots
比如我们一个域名www.abcde.com，我们想把带？号的url全部禁掉，首页我们不要禁掉，怎么弄？……
619
浏览
网站日志的问题，这个URL是怎么回事呢 Robots 网站日志
<p>2021/11/15 09:07:37 [error] 17902#0: *4053076 open() "/www/wwwroot/hjgygf.com/robots.txt" failed (2: ……
