678
浏览
新网站被收录以后，设置robots禁止抓取，对以后有没有影响 网站收录 Robots
新网站被收录以后，因为一些原因，网站不想公开，于是设置robots禁止抓取，现在网站可以公开了，把robots改成可以抓取后，网站收录会不会有影响……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
674
浏览
网站怎么做robots.txt？哪些内容要放到robots里面？ Robots 代码
网站属于代码自建，很多东西都不完善
672
浏览
如何屏蔽已经收录的页面 Robots
想在robots里面屏蔽 plug/comment/?id=59 plug/comment/?id=80 plug/comment/?id=81 这种类似的页面怎么写规则……
671
浏览
网站只收录栏目页而不收录内容页是怎么回事呢？ Robots
<p>网站<a href="https://www.xslook.com/" target="_blank" data-url="www.xslook.com" ……
670
浏览
robots.txt文件返回406，请问这是什么问题，如何解决？ Robots
<p><br></p>
670
浏览
网站从4与26号开始索引，一直没有变化，是正常的吧，我就怕是在robots加不爬*？*加的 Robots 索引量 索引
<p>之前在网上，搜到好多人加这个，结果导致网站不收录的</p><p>网站:www.chlbh.cn</p><p>怕自己网站也遇到这种情况，毕竟之前，索引量变化还是挺频繁的<……
669
浏览
robots怎么写？ Robots
robots不写可以吗？还有就是robots里能添加网站地图吗？
669
浏览
百度资源平台，上传robots文件，提示500，要怎么处理？ Robots 百度资源平台 代码
我上传robots出现下面这些代码：百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：500 网站是可以正常访问的，这个是权限的问题吗？我是菜鸟请帮下哦……
669
浏览
百度蜘蛛是怎样判断网站质量好坏的呢？ Robots 淘宝 PV 视频
百度蜘蛛是如何判断网站的好坏呢？下面和超级排名系统小编一起往下看。一、高质量内容。我想“原创”这个词语估计已经深深的扎根于广大站长的心里，那这里为什么我不说“原创”而说“高质量”？在小编看来，很多站长肤浅的认为，只要是网站打开速度快，原创内……
668
浏览
自学用模板做的网站十二天了还没被收录，是什么原因？ Robots 代码
几个月以前在网上下了一套免费的模板，然后自己用dreamweaver对每个页面进行了修改，也修改了内容，该删的都删了，做好了之后就到搜索引擎提交了链接，可是几个月一直都没有被收录，蜘蛛来都没来，现在我又用另外一套源码重新做了一个网站，主要是……
668
浏览
百度收录出现几千个首页，这样写robots可以吗？ Robots 百度收录
<pre>Disallow:http://www.szmaguan.com/?*</pre><p>这样写robots可以吗？</p><p><br></p>……
667
浏览
lists_2_2.html这种格式robots怎么写 Robots
lists_2_2.htmllists_2_3.htmllists_2_4.html像这样的格式怎么写屏蔽？
667
浏览
关于robots的骚操作带来一个血的教训 Robots 百度知道
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
666
浏览
666
浏览
蜘蛛一直抓取之前未改版前的链接，造成一大堆死链，要如何处理 数据库 Robots WordPress 代码
<p>网站改版快一年了，之前是用WordPress建站，后面代码给改了，是去年3月份改版的，到现在已经快一年了，从站点日志里面看到蜘蛛一直在抓取旧站链接，也有整理过一大堆死链提交了，也在robots里面禁止蜘蛛爬行，但是蜘蛛还是……
664
浏览
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。 Robots 网站优化
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。
664
浏览
网站地图的txt格式放robots里有用吗？ Robots Site Sitemap
网站地图的txt格式放robots里有用吗？ 还是txt格式的只适合用在百度站长后台提交用 的呢？写html格式的在robots里有用吗？Sitemap: http://www.xxx.com/sitemap.xmlSitemap: ht……
663
浏览
robots文件写错了修改后，多久能恢复 Robots
我的网站上线四个月了收录还是很低，原来是部分栏目禁止抓取，后面发现robots文件写错了现在修改后会恢复抓取收录吗www.mixmt.cn……
663
浏览
网站有大量404 页面 已经提交了百度死链 看着百度反馈成功了，robots 文件是否还有屏蔽的必要 Robots 404
网站有大量404 页面 已经提交了百度死链 看着百度反馈成功了，robots 文件是否还有屏蔽的必要，现在看蜘蛛每天还在爬 404 页面，到底要不要做robots 屏蔽呢，屏蔽的话 对蜘蛛有没有影响。如果屏蔽的话，几千的404 也会导致ro……
663
浏览
大家帮我分一下这个Robots文件有没有问题 Robots
<p>大家帮我分一下这个Robots文件有没有问题，www.mdyx.com</p><p></p>
663
浏览
robots该不该屏蔽这个目录？ Robots
我的站点手机版主要使用m.tfw66.com 网站目录绑定的是M/但是我的http://www.tfw66.com/m/ 也是手机端。 这个目录是否需要robots 屏蔽掉蜘蛛的抓取？设置了是否冲突？应该如何处理？……
662
浏览
我这样设置robots文本应该没有问题吧，蜘蛛日志上都显示抓取300多次了 Robots
<p></p><p></p>
661
浏览
robots修改后，百度要多久后更新？ Robots
更新robots.txt 添加了新的禁止抓取目录，百度要多久更新？已经更新robots三周了，之前抓取的动态地址还是没有禁止。……
659
浏览
购买的老域名建站，有之前的url抓取，要怎么处理？ Robots 404页面 404 索引
买了一个老域名建站，这个域名以前发过很多外链，但是发的基本都是栏目页和内容页的外链，现在通过网站日志发现蜘蛛通过这些以前发的外链爬到网站，但是这些栏目页和内容页都不存在了，所以导致蜘蛛每次爬过来都是404页面。这种情况要不要向搜索引擎提交下……
657
浏览
网站用robots屏蔽了所有蜘蛛，但是还是没变化 Robots
User-agent: *Disallow: /这个应该没错啊
656
浏览
robots.txt文件写法规则是怎么的？ Robots
robots.txt文件写法规则是怎么的？其中写了Disallow:/*_gaoqi/意思是Disallow:/123_gaoqi/Disallow:/eee_gaoqi/Disallow:/9e9_gaoqi/这种类型的都拒绝蜘蛛抓取吗？……
654
浏览
怎么回事啊？网站老域名重新改版后1个月只收录首页（百度、360都不收录） Robots 老域名 文章
9月份的时候打算建立一个网站，看了看手里的域名，有一个15年的老域名，因为网站主题和域名相匹配就拿过来用了。9月5号网站重新改版上线了，网站服务器放在linode日本服务器，网站地图、robots.txt、关键词、导航之类都已经建立完善。每……
654
浏览
以自动刷新方式更改内容页时间因子算不算作弊？ Robots 排名 文章
<p>某网站的内容页时间因子没有固定在发布日期，而是每被访问一次就自动刷新到当前时间，这样算不算作弊？还是这样有利于优化排名？</p><p>案例：</p><p>刚刚度娘搜索了一下正……
652
浏览
Robots监测不到，服务器配置有误，怎么解决啊？ Robots
您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：302……
652
浏览
新站删除robots文件一直不更新 Robots
www.qhtycs.com 这个新站加了robots然后两个月前删除这个文件，至今一直未更新，一直是禁止状态。要不要加一个允许的robots呢……
650
浏览
关于robots设置问题：网站设置之后，百度测试显示还在允许抓取 Robots Site Sitemap 根目录
<p>User-agent:*<br>Sitemap:https://www.mengchuangweiye.cn/sitemap.xml<br>Disallow:/plus/<br>Disa……
650
浏览
怎么禁止网站上另一个内容相同的页面被收录？ Robots 内容相同 静态
我司网站每生成一个动态页面就有个对应的内容相同的静态页面。www.chinamcloud.com/ → web.chinamcloud.com/lhytdst/例如www改成web，后面再加个/lhytdst/，就有个一样的页面了。但我不希……
