316
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
284
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
440
浏览
网站被黑后，进行Robots屏蔽时链接是否要区分大小写？ Robots 网站被黑
网站被黑后,进行Robots屏蔽时链接是否要区分大小写？
311
浏览
445
浏览
309
浏览
378
浏览
314
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
266
浏览
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？ Robots 文章
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？
734
浏览
723
浏览
想做谷歌seo，请问怎么优化，服务器模板方面该怎么选择 Robots Nofollow H标签 SEO优化
1.谷歌seo优化都包括哪些方面？平时百度里面的h标签，nofollow，以及robots这些都还适用吗？具体怎么优化，有什么插件可以查询数据2.我们针对的是全球的业务，服务器节点应该咋选择，镜像方面还选择centos吗？3.做外贸模板有什……
444
浏览
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有 Robots
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有，我想写robots的话应该怎么个写法https://www.walltechsystem。Cn/news/qiyexinwen……
806
浏览
网站的蜘蛛抓取频次突然由几万降到几百是怎么回事啊？怎么解决呢 Robots 二级域名 抓取频次 代码
1、站长词库关键词比较稳定，流量比较稳定；2、对应的二级域名抓取频次与主站同样的时间节点出现蜘蛛抓取频次下降的问题3、查看了抓取情况，没有返回错误代码，抓取速度也正常4、查看了robots文件，也正常……
530
浏览
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。 Robots 网站优化
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。
353
浏览
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页! Robots 百度蜘蛛
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页!
346
浏览
关于nofollow问题 Robots Nofollow 索引
部分网页已经添加了nofollow，而且robots协议里面也禁了，但是搜索引擎还是不停的抓取，有的甚至还收录了，应当如何处理？……
381
浏览
在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢 Robots 站长平台
<p></p><p>在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢</p>……
759
浏览
robots只抓取html行不行？ Robots 网站优化 JS
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？Allow:*.htmlDisallow: /某个目录/Disallow: /*?*Di……
370
浏览
网站做了伪静态之后屏蔽动态链接会不会对收录有影响？ Robots 伪静态 静态
各位请问我网站做了伪静态了，那我现在robots里屏蔽抓取动态链接会不会导致网站不收录？还有像如果要屏蔽/spread/detail?id%E3%80%9372这种连接的robots是这样写吗？User-agent: baiduspider……
264
浏览
746
浏览
两个基础问题，问一下，老哥们进来坐坐 PPT Robots 伪静态 静态
https://www.***。Com/user-sign?tab=resetpassword&redirect_to=https://www.***。Com/pptkj1.上面这种登录页面的动态链接，我在robots文件里面怎么屏……
831
浏览
图片404影响网站优化吗？？ Robots 日志分析 404
<p>日志分析里，不知道什么原因有好多图片没有（图片链接都是自己网站的 ），导致出现很多404，这样影响网站优化的吗？？</p><p>把这些图片都找回来应该不现实，那这种问题该怎么处理的呢??</p……
672
浏览
为什么sitemap有时候推送有时候不推送， Robots Site Sitemap
<p>提问为什么sitemap有时候推送有时候不推送， 在robots里面也有填sitemap</p><p></p>……
634
浏览
怎么解决禁止百度收录一些无意义的网页，新手求助！！！ Robots 百度收录 PHP 文章
我这边做了一个网站，百度收录一些没有内容的链接。这些链接我从网站也查不到。我的网站是www.ziyuantuliao。Com无意义的链接比如：http://www.ziyuantuliao。Com/show.php?id=54http://……
449
浏览
曦曦SEO：网站推广如何才能有效? Robots 搜狗 竞价 404
曦曦SEO：网站推广如何才能有效? 日常生活中，我们经常会遇到很多企业主抱怨我们公司的网站已经存在很多年了，连公司名字都没找到!为什么?曦曦SEO今天告诉你真正的原因，因为你的公司只有一个网站，却没有做过任何网站推广。在这种情况下，你……
704
浏览
网站权重掉了，site掉到了第三页，品牌关键词也没了咋整？ Robots Site JS
网站三w 。zsxcai。com我初步判断是sitemap混乱+新增的edu页面抢权重了，导致的掉权。还有就是，为啥百度抓了一大堆wp-json啊？这玩意怎么解决掉啊...直接robots掉？（worldpress功能太多了，用起来反而觉得……
350
浏览
robots文件怎么弄？ Robots 404
服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。……
592
浏览
这样的日志分析有问题吗？？ Robots PHP JS 404
<p>用好格拉日志分析 这里是这样显示的 404的都是图片 这样的日志分析结果有哪些问题呢 谢谢大家指正</p><p>要不要将JS PNG JPG PHP 这些都……
620
浏览
241
浏览
robots 如何屏蔽大量死链 Robots
同一个目录中有大量死链，但不能屏蔽这个目录，里面还有内容，robots如何做到屏蔽。可以做个死链合集死链.txt，采用用Disallow: /死链.txt，去屏蔽死链.txt文件里面的死链吗。如果不行，有其他方法吗。……
307
浏览
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？ Robots 404
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？就是想提高网站的蜘蛛来不浪费资源。。……
490
浏览
首页抓取异常、robots文件设置了重定向跳转、一些列异常，首页直接搜不到了 数据库 Robots 抓取异常 跳转
<p>不知道技术调整了什么，服务器、域名、数据库都在技术那边在调整，seo人员无法去排查，只能通过工具查找原因，再找技术去处理。。</p><p><br></p>……
311
浏览
伪静态url也不利于搜索引擎收录吧？怎样用ROBOTS文件禁止 Robots 静态
伪静态url也不利于搜索引擎收录吧？我是用凡科建站搭建的网站，360搜索引擎只收录了首页。url连接里没有“？”但是却有其他特殊符号，怎样用ROBOTS文件禁止这一类页面？……
438
浏览
robots.txt文件写法规则是怎么的？ Robots
robots.txt文件写法规则是怎么的？其中写了Disallow:/*_gaoqi/意思是Disallow:/123_gaoqi/Disallow:/eee_gaoqi/Disallow:/9e9_gaoqi/这种类型的都拒绝蜘蛛抓取吗？……
372
浏览
日志大量ip不像正常蜘蛛ip，而且有很多已屏蔽的后台文件被抓取是怎么回事呢@推推蛙 Robots
<p>查看日志情况，发现在robots文件屏蔽的目录还是被抓取，而且统计ip段数量，感觉不像正常的蜘蛛，是怎么回事呢<br></p>……
