2287
浏览
网站不设置robots和sitemap影响会有多大？ Robots Site
网站不设置robots影响会有多大？发现公司大量的网站没有robots和sitemap；那么没这些的话会造成什么实质的影响呢？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
2282
浏览
为什么搜狗只来抓取robots文件，不去抓取首页或其它网页呢？ Robots 搜狗
为什么搜狗只来抓取robots文件，不去抓取首页或其它网页呢？www.shenbing123.com 求教如何让搜狗快速收录首页和其它网页呢？ ……
2280
浏览
网站都上线两个月了，一条索引都没有 Robots Site Sitemap
sitemap已提交并且放进在了robots允许抓取，文章之前一直在更新，但是两个月一条索引都没有，并且百度站长看蜘蛛都不来……
2276
浏览
Robots TXT文件我做好了 问题是在哪里提交？ Robots
Robots TXT文件我做好了 问题是在哪里提交？
2261
浏览
robots用法怎么禁止抓取一个链接 Robots
一个外链xxx转换成内链https://www.某某某.com/go/zw想要禁止抓取这个内链在robots.txt里写Disallow: /https://www.某某某.com/go/zw写法正确吗？……
2248
浏览
网站之前是动态页面，改版成静态页面，过去两个月了，还是会有动态页面 Robots PHP 更新文章
现在网站每天更新文章，就是收录比较慢，就算收录也是一个多月之前的文章，大家可以看看这个网站 http://www.psbd.cn，要是用robots禁止收录动态的话，会有影响吗？ 要是没有影响，http://www.psbd.cn/inde……
2243
浏览
seo新手入职半个月，我靠实力当上了主管 Robots 排名 代码 文章
<p>我们团队只有4个编辑人员，我是其中一个，没有专门负责seo的，按老板的话就是大家虽然都是编辑，但是编辑就是做优化，所以大家都是干优化的事，没有主管，每天发完10篇文章就完事了，由于我也不太懂seo，看到一篇文章说在robo……
2239
浏览
老生常谈的新网站上线后收录时间问题！？ 推荐热议 Robots 老域名 文章
<p>首先，新网站链接：www.lyql.com，建材施工行业的（有想换友链的可以联系）</p><p>上线刚三天（从robots开放算起），之前的网站整合设计期一直robots屏蔽引擎，前天刚把robot……
2237
浏览
网站出现大量404怎么处理？ Robots 404页面 404
已经将404页面提交死链了，但是好几天了还是没有效果，还没处理掉，首页都降权了，有其他办法吗？robots屏蔽掉可行吗www.js-teacher.cn……
2230
浏览
根目录的robots.txt删除对网站有影响嘛？ Robots 根目录
Robots生效后网站的Robots文件能删了不？
2230
浏览
robots.txt文件存在限制指令怎么操作取消限制 Robots
www.cts028.comhttp://www.cts028.com/
2229
浏览
请问新站多久能有百度关键词排名？网站文章更新频率、质量是怎样的？ Robots 搜狗
我现在维护的网站域名已经1年9个月了，但是一直没打理，之前网站文章内容都是摘录的。我刚开始打理这个网站，为防止之前摘录的文章防止网页质量，已经将那些文章编写在robots文件，禁止爬虫爬取了。现在没有关键词排名，打算一直发布高质量的伪原创内……
2222
浏览
robots文件这样写对吗？ Robots
User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /config/ Disallow: /include/ Disallow: /lang/ Disallow: /pub……
2214
浏览
头条蜘蛛是否会遵守现有的robots协议？ Robots
各位大佬大侠求解答一下！
2211
浏览
Robots文件应该屏蔽网站的哪些文件？ Robots
你们Robots文件都是怎么写的，都会屏蔽哪些文件？
2208
浏览
搜索网站首页链接，找不到网站，site不在前三页，如何处理？ Robots Site 伪原创
网站：http://ftldc.com，上个月下旬25号之后，貌似网站排名掉了一些，28号之后，首页掉了，今天搜索首页链接找不到网站，site下首页不在前三。收录变化不大。之前操作：20多号弄了内页调整，将文章页的热门文章，换成猜你喜欢、热……
2204
浏览
robots这样写对不对？ Robots 搜狗
要写个robots文件，目的是禁止bing 谷歌和360索引，其余的百度、神马和搜狗等都允许，这样写对不对？User-agent: * Disallow: /zb_system/ Disallow: /zb_users/avatar/ Di……
2202
浏览
网站重新改版，收录慢，我们来骂骂百度好不好 Robots JS 熊掌号 内容
www.58fmjs.com才接手的网站，10天了吧，把以前收录的20几个页面用robots屏蔽了（内容不在一个服务器），重新建站加填充内页，基本上是完善了，熊掌号也弄了，每天也用api推送，就是不收录，好嗨哟，感觉人生已经到达了巅峰。……
2196
浏览
WordPress搭建的网站百度蜘蛛抓取了很多某明奇妙的文件，该怎么办？ 推荐热议 Robots 404页面 WordPress 404
<p>在robots文件中也限制了的，还是来抓取。全部都是404页面，该怎么办啊？</p><p><br></p>……
2192
浏览
2187
浏览
对于JS文件要不要让百度爬虫爬取？ 推荐热议 Robots JS 404
<p>我的网站日志现在出现了好多爬虫爬的404JS文件，要不要让爬虫爬？还是直接在ROBOTS里面给禁止了？</p><p><br></p><p><br>&l……
2186
浏览
robots文件怎么写最规范？ Robots 死链接
我在优化行星减速机厂家http://www.newgearcn.com/这个网站的时候，发现蜘蛛总是抓取一些不相关的页面，需要抓取的又没有抓取到，那么robots蜘蛛协议文件具体该要怎么写呢？哪些需要完全禁止，哪些需要引导蜘蛛抓取，动态页面……
2170
浏览
robots写屏蔽页面被提交会收录不 Robots Tag标签 JS
用的WP程序，robots写法，我屏蔽了NNN多多多页面，留存首页 分类 内容，TAG标签很少用上，就不管了。问题是，内容页左侧有个点击去评论导航，自动滚动 下方评论区后原网址 .html 后缀会变成 .html#comments虽然……
2164
浏览
网站pc端不收录，自动推送、手动提交、sitemap、什么都做了 Robots Site MIP
收录的情况一直让我很头疼，移动收录还好有熊掌天级和周级提交，但是pc收录的话，例如你今天更新的文章一般要等3个月后才收录。不知道是什么情况，站长的自动推送、手动提交、sitemap、robots都弄了，移动适配也做了，就是不肯收录，偶尔呢能……
2163
浏览
2160
浏览
网站排名和收录一直不好，大家帮忙分析一下，谢谢！ Robots 网站排名
网站：http://www.mobilerobots.com.cn/ 网站排名和收录一直不好，不知道是什么问题。
2158
浏览
蜘蛛抓取频次骤降，什么原因 Robots 抓取频次
<p><br></p><p>可能嫌疑的相关操作：</p><p>1、13号进行首页改版</p><p>2、18号修改robots，只是在原有基础上取……
2150
浏览
网站突然被降权，这种情况应该怎么办？ 网站收录 Robots 移动端 索引
<p>6月12号开始发现网站百度来路在下降，但是网站我未进行过任何修改，只是每天正常更新。不知道什么原因。</p><p>中途发现网站服务器占用高，我就优化了下服务器。网站收录内收录了很多用户登录界面，我就……
2142
浏览
修改网站的ROBOTS.txt影响蜘蛛爬取吗？ Robots
今天更新了一下robots文件，就添加了两行，会不会影响蜘蛛爬取
2142
浏览
网站seo——百度会读取nofolltow的内容吗？ Robots Nofollow
我网站有一个重复链接有很多（首页有180多个），已经出发了重复链接过多导致降权了。不过这个标签也有作用，不好全部去掉，那么我在这里加nofolllow标签不传递权重可以吗？robots那个不行，那个网址是个很重要的链接，不能屏蔽。要是一个一……
2138
浏览
技术不小心robots 设置禁止抓取了，几天没抓取了？ Robots
www.huiquanbao.com 技术不小心robots 设置禁止抓取了，现在好几天没抓取了，快照都显示禁止抓取了，要怎么办？？……
2138
浏览
网站改版后抓取异常怎么处理 Robots 网站改版 Site Sitemap
<p><br></p><p><br></p><p><br></p><p>抓取诊断 状态是正常的，<span>……
2133
浏览
网站安装好简单测试了一下没啥问题才上的ROBOTS，就在这个把小时空挡收录了咋办 推荐热议 Robots 文章
彻底服了，半个月不收录也没像这样难受过..网站安装好简单测试了一下没啥问题才上的ROBOTS，就在这个把小时空挡收录了咋办随便起了个标题上传了篇文章，感觉没啥问题就上了禁止抓取，开始做网站，做了几天发现早就收录了，就在刚安装好测试那个把小时……
2132
浏览
请教大佬：为什么不带www网址被收录，排名越来越好，且标题只显示企业官网。带www排名越来越后。 Robots 排名
<p>不带www的网址被收录，排名第一，且标题只显示企业官网。（从来没有把标题改成企业官网四个字，且不带www的网站robots权限已放开）带www的网址www.zhongmei66.com前几天排在十几名，今天没排名了。见图。……
2126
浏览
为什末robots文件，用百度站长检测所有路径全部允许，而用爱站检测则是正常呢？ Robots
<p>为什末robots文件，用百度站长检测所有路径全部允许，而用爱站检测则是正常呢</p><p>爱站检测结果</p><p><br></p><p>……
2116
浏览
百度蜘蛛为什么大量抓取网站的图片 Robots 网站日志
百度蜘蛛为什么大量抓取网站的图片？查看网站日志发现几乎蜘蛛抓取的百分之95都是网站的图片，为什么，是不是需要robots禁止一下抓取图片……
2115
浏览
网站内容没有被搜索引擎抓取可能有多种原因，以下是一些可能的原因和解决方法： Robots 黑客 索引
网站新上线：如果网站是新上线的，搜索引擎可能还没有发现它。在这种情况下，你可以向搜索引擎提交网站的 URL，以加快收录速度。网站结构问题：如果网站的结构不合理，例如网站的链接层次过深、页面之间缺乏内部链接等，可能会影响搜索引擎的抓取效果。解……
2114
浏览
请大家一起来看看这个问题！ Robots 友情链接 PHP
今天 在交换友情链接的时候发现对方网站中robots.txt文件存在一个问题，里面的内容如下：User-agent: * Disallow: /gb.php Disallow: /gb2.php Disallow: /parse.php D……
2113
浏览
如果用robots禁止百度抓某个目录下的页面，那之前该目录下已收录的页面搜索结果会被删除吗？ Robots 搜索结果
如果用robots禁止百度抓某个目录下的页面，那之前该目录下已收录的页面搜索结果会被删除吗？比如搜索引擎之前已经抓取了：http://www.epanel.cn/preview/下的页面，我把/preview/禁掉，之前收录的页面还会被搜索……
2107
浏览
究竟是什么原因，百度蜘蛛一直爬一个网站根本没有的目录？ Robots 网站程序 ajax
每天都会去看一下蜘蛛的爬行，发现最近发现一直在爬一个/ajax/的目录，但是这个上网站程序里是没有的，服务器里也是没有的，为什么能爬到这里？是因为网站曾经改版的原因吗？但是如果这个目录现在都已经删除了，为什么还是会去抓爬这个目录？现在我ro……
