387
浏览
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？ Robots 文章
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
386
浏览
<meta name="Robots" content="all"> 有必要加在代码里面吗 Robots 代码
<meta name="Robots" content="all"> robots文件正常的情况下，这标签还有必要出现在网页代码里吗……
380
浏览
376
浏览
网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？ Robots
网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？
358
浏览
robots 如何屏蔽大量死链 Robots
同一个目录中有大量死链，但不能屏蔽这个目录，里面还有内容，robots如何做到屏蔽。可以做个死链合集死链.txt，采用用Disallow: /死链.txt，去屏蔽死链.txt文件里面的死链吗。如果不行，有其他方法吗。……
341
浏览
paper写作网站的robots文件怎么写？ Robots
在使用谷歌页面分析工具的时候显示我的paper写作网站有robots错误，我去查看文件才看到没有这个文件。想问问大家这个robots文件应该写哪些内容呢？……
280
浏览
网站robots.txt文件被重定向会影响网站收录吗？ 网站收录 Robots
各位seo大神们，我在搜索资源平台监测网站robots.txt稳健，提示该稳健被重定向了，网站robots.txt文件被重定向会影响网站收录吗？……
268
浏览
百度站长工具的Robots不能用了吗 Robots 站长工具
百度站长工具的Robots不能用了吗？显示“请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。”……
228
浏览
221
浏览
404需要在robots文件中屏蔽吗？ Robots 404
看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？今天流量直接无征兆滑铁卢了，救命……
180
浏览
179
浏览
网站大量IP同时访问导致网站打不开，有好的解决办法吗 Robots 网站打不开
目前做了以下工作1.已经用了robots禁止了垃圾蜘蛛的访问2.对于部分恶意IP进行了封禁3.设置了并发连接数限制情况有缓解，但是每天还会出现在一个时间点大量ip访问的问题，导致内容拉满，网站不能访问……
142
浏览
复制内容如何让搜索引擎快速收录呢？ Robots 淘宝 Site 索引
像淘宝，天猫都是用robots.txt协议禁止搜索引擎抓取收录。这样的话我把淘宝天猫的产品及产品介绍详情复制出来，放到自己网站上。测试过是收录的，就是收录量太少，我用的Wordpress程序做网站，而且基本的seo也会去做，sitemap也……
