452
浏览
网站地图需不需要在首页给个入口？ Robots 索引
<p>我记得之前看到过 说搜索引擎蜘蛛来访网站，首先是爬robots.txt文件，如果我在robots.txt文件中放了网站地图的入口，是不是就不用在首页给网站地图的链接呀？如果给了链接，算不算作弊呢？</p><……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
414
浏览
693
浏览
网站这样设置robots对吗 Robots 二级域名 CDN
<p><br>最近发现网站有一个二级域名跟www.这个二级域名内容一样，技术那边说是为了网站访问更快，然后把图片什么的都同步到cdn这个域名，这样写是不是可以禁止蜘蛛抓取cdn.这个域名。</p>……
1407
浏览
求各位帮忙分析一下，7个月了，网站一直不收录内页，目前只有首页收录 推荐热议 Robots 索引
<p>1、网站索引目前43，但是也是差不多一两个月没有增长了，这43个索引都是最近两个月突然有一天冒出来的，然后差不多一个星期就有43，但是后续就基本上没有增加过了</p><p><br><……
965
浏览
当网站突然不收录新内容，应该从哪些地方找问题 Robots 站长工具 老域名 索引
网站突然出现蜘蛛不抓取新内容，我们应该从哪些地方找原因：1、老域名改网站做了3个月，权重6，目前是流量变化不大，然后站长工具有轻微降权。2、我的网站手动更新，一天手动做30-40篇，工作8小时。3、资源平台反馈百度 2次无效（怀疑机器人回复……
405
浏览
robots.txt如何屏蔽垃圾外链网址？内容如何写？ Robots
robots.txt如何屏蔽垃圾外链网址？内容如何写？
700
浏览
看到有的网站将sitemaps.txt写在robots.txt中，请问这样有什么样的好处？ Robots Site
看到有的网站将sitemaps.txt写在robots.txt中，请问这样有什么样的好处？
532
浏览
383
浏览
网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？ Robots
网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？
427
浏览
网站未准备好上线之前是否要操作robots封禁蜘蛛？ Robots
准备上线后解除蜘蛛封禁是否来得及，会有影响吗？
553
浏览
robots经常改收录 会有影响吗？ Robots 索引
改robots,对搜索引擎有影响吗。
459
浏览
不写robots.txt文件有什么影响？ Robots
不写robots.txt文件有什么影响？
402
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
608
浏览
网站被黑后，进行Robots屏蔽时链接是否要区分大小写？ Robots 网站被黑
网站被黑后,进行Robots屏蔽时链接是否要区分大小写？
417
浏览
621
浏览
426
浏览
482
浏览
426
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
391
浏览
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？ Robots 文章
网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？
898
浏览
888
浏览
想做谷歌seo，请问怎么优化，服务器模板方面该怎么选择 Robots Nofollow H标签 SEO优化
1.谷歌seo优化都包括哪些方面？平时百度里面的h标签，nofollow，以及robots这些都还适用吗？具体怎么优化，有什么插件可以查询数据2.我们针对的是全球的业务，服务器节点应该咋选择，镜像方面还选择centos吗？3.做外贸模板有什……
573
浏览
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有 Robots
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有，我想写robots的话应该怎么个写法https://www.walltechsystem。Cn/news/qiyexinwen……
1001
浏览
网站的蜘蛛抓取频次突然由几万降到几百是怎么回事啊？怎么解决呢 Robots 二级域名 抓取频次 代码
1、站长词库关键词比较稳定，流量比较稳定；2、对应的二级域名抓取频次与主站同样的时间节点出现蜘蛛抓取频次下降的问题3、查看了抓取情况，没有返回错误代码，抓取速度也正常4、查看了robots文件，也正常……
652
浏览
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。 Robots 网站优化
网站优化时是不是robots.txt必须存在？还是没有这个要求？看了很多网站都存在。
457
浏览
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页! Robots 百度蜘蛛
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页!
448
浏览
关于nofollow问题 Robots Nofollow 索引
部分网页已经添加了nofollow，而且robots协议里面也禁了，但是搜索引擎还是不停的抓取，有的甚至还收录了，应当如何处理？……
483
浏览
在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢 Robots 站长平台
<p></p><p>在百度站长平台上检测robots文件的时候出现的，这个应该怎么弄呢</p>……
963
浏览
robots只抓取html行不行？ Robots 网站优化 JS
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？Allow:*.htmlDisallow: /某个目录/Disallow: /*?*Di……
484
浏览
网站做了伪静态之后屏蔽动态链接会不会对收录有影响？ Robots 伪静态 静态
各位请问我网站做了伪静态了，那我现在robots里屏蔽抓取动态链接会不会导致网站不收录？还有像如果要屏蔽/spread/detail?id%E3%80%9372这种连接的robots是这样写吗？User-agent: baiduspider……
410
浏览
946
浏览
两个基础问题，问一下，老哥们进来坐坐 PPT Robots 伪静态 静态
https://www.***。Com/user-sign?tab=resetpassword&redirect_to=https://www.***。Com/pptkj1.上面这种登录页面的动态链接，我在robots文件里面怎么屏……
1110
浏览
图片404影响网站优化吗？？ Robots 日志分析 404
<p>日志分析里，不知道什么原因有好多图片没有（图片链接都是自己网站的 ），导致出现很多404，这样影响网站优化的吗？？</p><p>把这些图片都找回来应该不现实，那这种问题该怎么处理的呢??</p……
960
浏览
为什么sitemap有时候推送有时候不推送， Robots Site Sitemap
<p>提问为什么sitemap有时候推送有时候不推送， 在robots里面也有填sitemap</p><p></p>……
969
浏览
怎么解决禁止百度收录一些无意义的网页，新手求助！！！ Robots 百度收录 PHP 文章
我这边做了一个网站，百度收录一些没有内容的链接。这些链接我从网站也查不到。我的网站是www.ziyuantuliao。Com无意义的链接比如：http://www.ziyuantuliao。Com/show.php?id=54http://……
628
浏览
曦曦SEO：网站推广如何才能有效? Robots 搜狗 竞价 404
曦曦SEO：网站推广如何才能有效? 日常生活中，我们经常会遇到很多企业主抱怨我们公司的网站已经存在很多年了，连公司名字都没找到!为什么?曦曦SEO今天告诉你真正的原因，因为你的公司只有一个网站，却没有做过任何网站推广。在这种情况下，你……
867
浏览
网站权重掉了，site掉到了第三页，品牌关键词也没了咋整？ Robots Site JS
网站三w 。zsxcai。com我初步判断是sitemap混乱+新增的edu页面抢权重了，导致的掉权。还有就是，为啥百度抓了一大堆wp-json啊？这玩意怎么解决掉啊...直接robots掉？（worldpress功能太多了，用起来反而觉得……
491
浏览
robots文件怎么弄？ Robots 404
服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。……
