1556
浏览
网站修改了文章页命名规则后需要怎么处理？ Robots Nofollow 微商 5118
网站（微商货源网：http://www.v3bao.com/）上线半个月左右改了下文章命名规则，没改之前都有一点流量，且有些长尾关键词排名了，修改后表现一直不是很好！主要修改情况：原来：http://www.v3bao.com/zixun/……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
2221
浏览
身为SEO如何给部门其他同事做SEO培训？ 推荐热议 CMS Robots SEO培训
跳槽来了个大型民企。光官网维护部门就有16个人，由于之前一直没有SEO，所以领导想让我做个全部门的SEO知识培训。目前公司网站问题还是挺多的：多个域名内容重复没有301，重复页面收录，CMS域名和内网预览文章域名被收录，TDK书写不规范，标……
1260
浏览
没法被收录的网页怎么处理比较合适呢？ Robots 内容收录 收录率
如果网站当中很多网页是很难收录的（比方说就是采集的内容，不要求引流，只是要求能让网站有让客户看的内容，不然网站内容太少，没什么好看的话，流失率会非常高），那这种网页要不要在Robots禁止抓取呢？ 还是就让他这样存在？ 如果不禁止抓取的话，……
1412
浏览
CMS的地址和预览地址被百度收录了怎么屏蔽? CMS Robots 百度收录
后台CMS的地址和文章的预览地址被百度收录了。由于内容和主站重复，为了避免影响主站的排名和收录，想把这两个地址屏蔽掉。直接用robots吗？……
2224
浏览
网站改版，排名一直在掉，是怎么回事？ Robots 友情链接 网站改版 网站排名
网站：http://www.shihuowang.com/改版上线时间：2018年11月1日（距离现在已经一个多月了）改了以下几个地方：1.去除了首页1个板块，其他板块微调了一下。2.首页标题微调了，分类栏目页面改了标题（因为之前的标题都是……
1281
浏览
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示 Robots Site
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示，有办法不展示或者去除这一部分动态页面吗？……
1828
浏览
网站排名和收录一直不好，大家帮忙分析一下，谢谢！ Robots 网站排名
网站：http://www.mobilerobots.com.cn/ 网站排名和收录一直不好，不知道是什么问题。
2660
浏览
友情链接里检测出的图片链接怎么屏蔽？有以前的临时域名友链，需要提交Robots吗？ Robots 友情链接
<p><br></p>
2616
浏览
网站同一个url页面被重复收录，是什么问题？做301跳转还是404屏蔽？ Robots Site 404
<p>通过site+inurl进行检索，可以查到同一个URL能搜索出多个结果，有些是完全一模一样的url，有些是url后面跟了?=*****各种参数的重复页面</p><p>已经在robots进行了屏蔽，但……
1290
浏览
网赚外联找不到，怎么办 Robots Site 竞价 JS
http://daohang.254.com.cn/ 首尔底部链接Powered by www.lusongsong.com模板如下：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Tran……
3557
浏览
robots.txt文件夹一般会屏蔽网站哪些内容？ Robots 动态链接
robots.txt文件未设置屏蔽的内容，除了死链、动态链接、还需要屏蔽哪些？
1650
浏览
robots文件如果限制蜘蛛抓取图片，会不会影响搜索结果中的站点图片 CMS Robots 搜索结果
<p>如下图，织梦CMS网站，我在robots的文件中限制/skin目录和uploads目录的图片 蜘蛛抓取会不会影响百度搜索结果的站点图片，或者搜索结果中就不带着图片了</p><p></p>……
2551
浏览
蜘蛛每天都抓取js和css文件，需不需要用robots协议屏蔽？ Robots 网站日志 JS
查看网站日志发现蜘蛛每天都抓取js和css文件，需不需要使用robots屏蔽掉啊？
1459
浏览
新站不收录问题：之前没有发现robots文件一直是屏蔽中，现在改了但是蜘蛛在也不来了 Robots
之前我没有发现我的robots文件屏蔽了蜘蛛，发现后立即改了，然后提交给百度，文章一直更新，但是看了蜘蛛抓取，一直没有来蜘蛛过，怎么才能让蜘蛛重新来到网站抓取呢……
1762
浏览
为什么栏目页没法被收录？ Robots
为什么首页跟内容页都被收录了 ，但是栏目页没被收录 索引 百度搜索不到 robots也没啥问题 ……
1585
浏览
2113
浏览
网站备案由于备案要求更改了主页，备案期间权重掉0，收录掉0，怎么办？ Robots 闭站保护
做了闭站保护，robots文件防抓取
1767
浏览
1886
浏览
robots写屏蔽页面被提交会收录不 Robots Tag标签 JS
用的WP程序，robots写法，我屏蔽了NNN多多多页面，留存首页 分类 内容，TAG标签很少用上，就不管了。问题是，内容页左侧有个点击去评论导航，自动滚动 下方评论区后原网址 .html 后缀会变成 .html#comments虽然……
3818
浏览
1632
浏览
1468
浏览
网站在robots文件做了sitmap，但是网站日志识别成了404这是为什么呢 Robots
<p></p><p></p><p></p>
1692
浏览
为什末robots文件，用百度站长检测所有路径全部允许，而用爱站检测则是正常呢？ Robots
<p>为什末robots文件，用百度站长检测所有路径全部允许，而用爱站检测则是正常呢</p><p>爱站检测结果</p><p><br></p><p>……
1197
浏览
这是一个关于robots的问题。请大神帮忙看看。 Robots
<p><br></p><p>一开始做网站的时候把所有的蜘蛛都屏蔽了，网站做完后我就修改了robots，如第二个图。改完之后得有四五天才收录，收录却显示robots文件限制抓取。这种情该如何处理……
2065
浏览
为什么Robots文件明明开放收录了，但是百度快照依然是Robots限制呢？ Robots
<p>www.gzmypay.com<br></p><p><br></p>
1487
浏览
对于已经收录的网页，再对这些网页加robots Robots
需要注意什么，还是说没有规则限制直接给这些已经收录的网页加nofollow就行了？
1806
浏览
robots这样写对不对？ Robots 搜狗
要写个robots文件，目的是禁止bing 谷歌和360索引，其余的百度、神马和搜狗等都允许，这样写对不对？User-agent: * Disallow: /zb_system/ Disallow: /zb_users/avatar/ Di……
4157
浏览
怎么把已经被百度索引的页面删除掉？ Robots 百度快照 Nofollow 搜索结果
请问怎么把一个已经被百度索引了的页面从百度中删掉，因为这个页面是一个产品登录页面，没有意义，但是一直排名在首页。试过设置robots文件，但是robots文件只会禁止抓取，页面仍然会出现在百度搜索结果里，页面也加了noindex,nofol……
1688
浏览
技术不小心robots 设置禁止抓取了，几天没抓取了？ Robots
www.huiquanbao.com 技术不小心robots 设置禁止抓取了，现在好几天没抓取了，快照都显示禁止抓取了，要怎么办？？……
2160
浏览
为什么Robots禁止了谷歌，还是一样的被收录？ Robots
<p>为什么Robots禁止了谷歌，还是会被收录呢？谁知道是什么原因的吗？我的网站是回收库存布料http://hskcsg.com/</p><p><br></p>……
2226
浏览
网站robots跟sitemap是不是一定要有？ Robots Site Sitemap
<p>有的朋友跟我说中小型网站robots跟sitemap可要可不要</p><p>我的网站这两个都没有弄www.mld138.com</p><p>那这两个到底要不要？</p&……
1666
浏览
robots这么写可以么？？ Robots Site Sitemap
User-agent: * Sitemap: http://www.anrui777.cn/sitemap.txt Sitemap: http://www.anrui777.cn/sitemap.xml Sitemap: http://ww……
2148
浏览
我把这个html文件放在根目录了，可以前收录的文章url都是带有html，放在根目录后就没有收录了，是怎么回事？ Robots 根目录
<p><br></p><p>之前URL中间有这个html静态文件，访问URL是.com/html/about/这样的，现在把这个html静态文件放在根目录了，访问URL就没有中间那个html了……
1680
浏览
robots文件无法正常访问的问题！如图 Robots
<p><br></p><p>这个是什么原因呢 有谁知道</p>
3479
浏览
建立的网站，结果一个页面，两个url都能打开 Robots
小弟建站时间不长，因为url配置不当，最近出现了个问题，希望可以帮助一下简单说就是好几个页面，两个url都能打开一个是伪静态url，另一个是那种带?之类的动态url我网上找了下，说是这样对权重不好我想问下1，我想屏蔽掉蜘蛛对动态url的抓取……
2489
浏览
Robots如何禁止网站评论链接 Robots
网站全部评论链接感觉都是空白页面，想通过Robots禁止搜索引擎抓取，请问Robots该如何写呢？比如文章链接http://www.hxjwang.com/News-detail-id-292.html它的评论链接是这个http://www……
4009
浏览
百度站长平台检测并更新robots文件 Robots
百度站长平台检测并更新robots文件 显示 ：：您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：302……
2338
浏览
robots显示和自己上传的不一样? Robots
<p>打开<span>robots.txt测试工具，显示</span></p><p><span><br></span></p><……
4145
浏览
禁止谷歌蜘蛛是不是对服务器的作用非常大 Robots
<p>渣渣服务器上现在有几个站，现在谷歌蜘蛛抓取特别多，我想把它屏蔽掉，是不是就能减少服务器压力</p><p><br></p><p><br></p&g……
