2295
浏览
为什么Robots禁止了谷歌，还是一样的被收录？ Robots
<p>为什么Robots禁止了谷歌，还是会被收录呢？谁知道是什么原因的吗？我的网站是回收库存布料http://hskcsg.com/</p><p><br></p>……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
2368
浏览
网站robots跟sitemap是不是一定要有？ Robots Site Sitemap
<p>有的朋友跟我说中小型网站robots跟sitemap可要可不要</p><p>我的网站这两个都没有弄www.mld138.com</p><p>那这两个到底要不要？</p&……
1831
浏览
robots这么写可以么？？ Robots Site Sitemap
User-agent: * Sitemap: http://www.anrui777.cn/sitemap.txt Sitemap: http://www.anrui777.cn/sitemap.xml Sitemap: http://ww……
2325
浏览
我把这个html文件放在根目录了，可以前收录的文章url都是带有html，放在根目录后就没有收录了，是怎么回事？ Robots 根目录
<p><br></p><p>之前URL中间有这个html静态文件，访问URL是.com/html/about/这样的，现在把这个html静态文件放在根目录了，访问URL就没有中间那个html了……
1895
浏览
robots文件无法正常访问的问题！如图 Robots
<p><br></p><p>这个是什么原因呢 有谁知道</p>
3703
浏览
建立的网站，结果一个页面，两个url都能打开 Robots
小弟建站时间不长，因为url配置不当，最近出现了个问题，希望可以帮助一下简单说就是好几个页面，两个url都能打开一个是伪静态url，另一个是那种带?之类的动态url我网上找了下，说是这样对权重不好我想问下1，我想屏蔽掉蜘蛛对动态url的抓取……
2601
浏览
Robots如何禁止网站评论链接 Robots
网站全部评论链接感觉都是空白页面，想通过Robots禁止搜索引擎抓取，请问Robots该如何写呢？比如文章链接http://www.hxjwang.com/News-detail-id-292.html它的评论链接是这个http://www……
4178
浏览
百度站长平台检测并更新robots文件 Robots
百度站长平台检测并更新robots文件 显示 ：：您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：302……
2506
浏览
robots显示和自己上传的不一样? Robots
<p>打开<span>robots.txt测试工具，显示</span></p><p><span><br></span></p><……
4304
浏览
禁止谷歌蜘蛛是不是对服务器的作用非常大 Robots
<p>渣渣服务器上现在有几个站，现在谷歌蜘蛛抓取特别多，我想把它屏蔽掉，是不是就能减少服务器压力</p><p><br></p><p><br></p&g……
4298
浏览
4068
浏览
2472
浏览
robots文件设置错误，修改后百度多久可以整体收录网站？ Robots
我们网站前几年因为robots文件设置错误，禁止了所有搜索引擎的抓取，昨天才改过来，并且向百度主动提交了链接。请问这样网站多久才会被收录？http://szyxkj.com.cn请大神帮忙看看，大家有什么能够加快收录的大招吗？……
2922
浏览
谁可以帮我写robots禁止搜索访问吗？100元辛苦费 Robots
www.sydiver.com 这个网站 不知道怎么设置robots，怕设置错误
3880
浏览
同一个域名下网站有中英文2个版，业务主要针对中国用户，需要用robot把英文网站的网址都屏蔽掉吗？ Robots
新手小白问各位大神，外资公司网站域名下有中英文2个版（英文版就是中文页面url内多一个/en），业务主要针对中国用户，做中文网站的关键词优化，需要编辑robots把英文网站的网址都屏蔽掉吗？没有屏蔽的话对中文网站优化影响会很大吗？……
2042
浏览
robots文件这样写对吗？ Robots
User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /config/ Disallow: /include/ Disallow: /lang/ Disallow: /pub……
