2053
浏览
网站之前是动态页面，改版成静态页面，过去两个月了，还是会有动态页面 Robots PHP 更新文章
现在网站每天更新文章，就是收录比较慢，就算收录也是一个多月之前的文章，大家可以看看这个网站 http://www.psbd.cn，要是用robots禁止收录动态的话，会有影响吗？ 要是没有影响，http://www.psbd.cn/inde……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1646
浏览
网站迭代是粗暴的404提交还是乖乖的去做改版规则 Robots Site 404
由于老网站需要改版， 但是外包做的太辣鸡，就重新做了一版。可是网站sitemap根本爬不出来，百度site又有好几百条内容，申请闭站保护也没卵用，直接粗暴的在robots里禁止蜘蛛抓取，改完之后再重新开放，之前所有的链接都做404提交，这样……
2002
浏览
网站改版后抓取异常怎么处理 Robots 网站改版 Site Sitemap
<p><br></p><p><br></p><p><br></p><p>抓取诊断 状态是正常的，<span>……
1881
浏览
1580
浏览
给全站加nofollow标签有什么坏处没有？ Robots Nofollow
<p>代码：<meta name="robots" content="nofollow" /></p><p>参考网站：www.xczylt.com<……
2397
浏览
robots文件开头不写User-agent: *可以吗？ Robots
按照正常网站robots写法，在开通都会写上User-agent: *，但是我的网站没写，这样正确吗？能不能使robots起作用？……
1465
浏览
想请大神看下我的网站怎样可以收录 Robots 404页面 CDN 404
<p> 11月之前出现过连接超时就不怎么收录，用熊掌号可以收录，后来服务器加了cdn连接不超时了，网站日志查出来有大量的404页面，现在已经提交了404页面，网站robots,也已经更改，现在还是不怎么收录，</p>……
1924
浏览
请大家一起来看看这个问题！ Robots 友情链接 PHP
今天 在交换友情链接的时候发现对方网站中robots.txt文件存在一个问题，里面的内容如下：User-agent: * Disallow: /gb.php Disallow: /gb2.php Disallow: /parse.php D……
3762
浏览
网站弄成中英混搭，请问有什么利弊？请大家帮忙 Robots
网站弄成中英混搭，请问有什么利弊？怎么去优化？
1246
浏览
大家帮忙解决我站爱跨境论坛robots.txt的问题 Robots
我的网站robots.txt www.ikuajing.com/robots.txt 里面禁止了/data/但是我想让搜索引擎允许收录这个图片,又要禁止搜索引擎抓取DATA其他的文件的内容，该怎么写 我的图片地址是：www.ikuajin……
1781
浏览
网站修改了文章页命名规则后需要怎么处理？ Robots Nofollow 微商 5118
网站（微商货源网：http://www.v3bao.com/）上线半个月左右改了下文章命名规则，没改之前都有一点流量，且有些长尾关键词排名了，修改后表现一直不是很好！主要修改情况：原来：http://www.v3bao.com/zixun/……
2400
浏览
身为SEO如何给部门其他同事做SEO培训？ 推荐热议 CMS Robots SEO培训
跳槽来了个大型民企。光官网维护部门就有16个人，由于之前一直没有SEO，所以领导想让我做个全部门的SEO知识培训。目前公司网站问题还是挺多的：多个域名内容重复没有301，重复页面收录，CMS域名和内网预览文章域名被收录，TDK书写不规范，标……
1401
浏览
没法被收录的网页怎么处理比较合适呢？ Robots 内容收录 收录率
如果网站当中很多网页是很难收录的（比方说就是采集的内容，不要求引流，只是要求能让网站有让客户看的内容，不然网站内容太少，没什么好看的话，流失率会非常高），那这种网页要不要在Robots禁止抓取呢？ 还是就让他这样存在？ 如果不禁止抓取的话，……
1565
浏览
CMS的地址和预览地址被百度收录了怎么屏蔽? CMS Robots 百度收录
后台CMS的地址和文章的预览地址被百度收录了。由于内容和主站重复，为了避免影响主站的排名和收录，想把这两个地址屏蔽掉。直接用robots吗？……
2358
浏览
网站改版，排名一直在掉，是怎么回事？ Robots 友情链接 网站改版 网站排名
网站：http://www.shihuowang.com/改版上线时间：2018年11月1日（距离现在已经一个多月了）改了以下几个地方：1.去除了首页1个板块，其他板块微调了一下。2.首页标题微调了，分类栏目页面改了标题（因为之前的标题都是……
1427
浏览
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示 Robots Site
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示，有办法不展示或者去除这一部分动态页面吗？……
1990
浏览
网站排名和收录一直不好，大家帮忙分析一下，谢谢！ Robots 网站排名
网站：http://www.mobilerobots.com.cn/ 网站排名和收录一直不好，不知道是什么问题。
2830
浏览
友情链接里检测出的图片链接怎么屏蔽？有以前的临时域名友链，需要提交Robots吗？ Robots 友情链接
<p><br></p>
2784
浏览
网站同一个url页面被重复收录，是什么问题？做301跳转还是404屏蔽？ Robots Site 404
<p>通过site+inurl进行检索，可以查到同一个URL能搜索出多个结果，有些是完全一模一样的url，有些是url后面跟了?=*****各种参数的重复页面</p><p>已经在robots进行了屏蔽，但……
1447
浏览
网赚外联找不到，怎么办 Robots Site 竞价 JS
http://daohang.254.com.cn/ 首尔底部链接Powered by www.lusongsong.com模板如下：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Tran……
3736
浏览
robots.txt文件夹一般会屏蔽网站哪些内容？ Robots 动态链接
robots.txt文件未设置屏蔽的内容，除了死链、动态链接、还需要屏蔽哪些？
1907
浏览
robots文件如果限制蜘蛛抓取图片，会不会影响搜索结果中的站点图片 CMS Robots 搜索结果
<p>如下图，织梦CMS网站，我在robots的文件中限制/skin目录和uploads目录的图片 蜘蛛抓取会不会影响百度搜索结果的站点图片，或者搜索结果中就不带着图片了</p><p></p>……
2775
浏览
蜘蛛每天都抓取js和css文件，需不需要用robots协议屏蔽？ Robots 网站日志 JS
查看网站日志发现蜘蛛每天都抓取js和css文件，需不需要使用robots屏蔽掉啊？
1608
浏览
新站不收录问题：之前没有发现robots文件一直是屏蔽中，现在改了但是蜘蛛在也不来了 Robots
之前我没有发现我的robots文件屏蔽了蜘蛛，发现后立即改了，然后提交给百度，文章一直更新，但是看了蜘蛛抓取，一直没有来蜘蛛过，怎么才能让蜘蛛重新来到网站抓取呢……
1884
浏览
为什么栏目页没法被收录？ Robots
为什么首页跟内容页都被收录了 ，但是栏目页没被收录 索引 百度搜索不到 robots也没啥问题 ……
1786
浏览
2321
浏览
网站备案由于备案要求更改了主页，备案期间权重掉0，收录掉0，怎么办？ Robots 闭站保护
做了闭站保护，robots文件防抓取
1975
浏览
2018
浏览
robots写屏蔽页面被提交会收录不 Robots Tag标签 JS
用的WP程序，robots写法，我屏蔽了NNN多多多页面，留存首页 分类 内容，TAG标签很少用上，就不管了。问题是，内容页左侧有个点击去评论导航，自动滚动 下方评论区后原网址 .html 后缀会变成 .html#comments虽然……
4072
浏览
1771
浏览
1597
浏览
网站在robots文件做了sitmap，但是网站日志识别成了404这是为什么呢 Robots
<p></p><p></p><p></p>
1908
浏览
为什末robots文件，用百度站长检测所有路径全部允许，而用爱站检测则是正常呢？ Robots
<p>为什末robots文件，用百度站长检测所有路径全部允许，而用爱站检测则是正常呢</p><p>爱站检测结果</p><p><br></p><p>……
1361
浏览
这是一个关于robots的问题。请大神帮忙看看。 Robots
<p><br></p><p>一开始做网站的时候把所有的蜘蛛都屏蔽了，网站做完后我就修改了robots，如第二个图。改完之后得有四五天才收录，收录却显示robots文件限制抓取。这种情该如何处理……
2215
浏览
为什么Robots文件明明开放收录了，但是百度快照依然是Robots限制呢？ Robots
<p>www.gzmypay.com<br></p><p><br></p>
1659
浏览
对于已经收录的网页，再对这些网页加robots Robots
需要注意什么，还是说没有规则限制直接给这些已经收录的网页加nofollow就行了？
2017
浏览
robots这样写对不对？ Robots 搜狗
要写个robots文件，目的是禁止bing 谷歌和360索引，其余的百度、神马和搜狗等都允许，这样写对不对？User-agent: * Disallow: /zb_system/ Disallow: /zb_users/avatar/ Di……
4421
浏览
怎么把已经被百度索引的页面删除掉？ Robots 百度快照 Nofollow 搜索结果
请问怎么把一个已经被百度索引了的页面从百度中删掉，因为这个页面是一个产品登录页面，没有意义，但是一直排名在首页。试过设置robots文件，但是robots文件只会禁止抓取，页面仍然会出现在百度搜索结果里，页面也加了noindex,nofol……
1876
浏览
技术不小心robots 设置禁止抓取了，几天没抓取了？ Robots
www.huiquanbao.com 技术不小心robots 设置禁止抓取了，现在好几天没抓取了，快照都显示禁止抓取了，要怎么办？？……
