1625
浏览
wordpress短链接相关问题 Robots 伪静态 排名 静态
最近我发现网站收录了很多短链接：www.***。Com/?p=123,并且在收录的过程中也会收录www.***。Com/123.html。双收录对seo不好，所有想把这个短链接用robots文件屏蔽了，但问题是短链接很多排名都很高，比伪静态……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1622
浏览
Robots.txt这个文件这样弄对吗，因为没有nofollow源码后台 Robots Nofollow
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: * Disallow: User-agent: * Disallow: /bin/cgi/http:……
1617
浏览
如何写robots文件？ Robots JS 404
由于模板自带想改，看了日志很多404 都是JS ，CSS的还有就是skin这个文件夹能屏蔽吗？求神看下写法有没错？还需要屏蔽上面？JS和CSS能屏蔽吗 / www.tljbxz.comUser-agent: * Disallow: /pl……
1614
浏览
网站地图放在目录里面和直接放在根目录有什么区别 Robots Site Sitemap 文章
网站栏目和文章数量多，直接生成sitemap地图会有很多分页，把地图生成在sitemap一个文件夹，然后robots中添加地图的目录指引，这样可行吗？和直接生成sitemap.xml有什么区别？……
1613
浏览
站长提示robots文件被设置重定向跳转，对网站的抓取会有影响吗 Robots 跳转
<p></p>
1607
浏览
robots其中的一个写法请教，各位老铁新年好 Robots PHP 404
<p>我想不让蜘蛛抓取网址结构是：域名/index.php?s=/vod-type-id-1-type--area-%E7%BE%8E%E5%9B%BD-year-0-star--state--order-hits-p-52.h……
1603
浏览
为什么我的robots.txt检测显示错误码：404？ Robots Site 404
<p>robots.txt不是sitemap.xml文件吗</p><p></p><p>www. molihuawang. com</p>
1602
浏览
https宝塔强制全站后 做了301 百度抓不到robots什么情况 关了全站就可以 但是出现http 和htpps共存 Robots 宝塔
https宝塔强制全站后 做了301 百度检测抓不到robots提示301 或者错误 什么情况 关了全站就可以 但是出现http 和htpps共存……
1601
浏览
大家帮忙解决我站爱跨境论坛robots.txt的问题 Robots
我的网站robots.txt www.ikuajing.com/robots.txt 里面禁止了/data/但是我想让搜索引擎允许收录这个图片,又要禁止搜索引擎抓取DATA其他的文件的内容，该怎么写 我的图片地址是：www.ikuajin……
1599
浏览
有没有比较好的可以查询友情链的工具呢？用站长工具查有的能显示，有的不显示。 Robots 站长工具 Nofollow 代码
还有一点就是 查询其他网站关于自己网站友情链接 会提示（屏蔽了所有的蜘蛛 ） 然后我就去看了一下自己网站的首页， 有一串代码是<meta name="robots" content="nofollow" /> 而且我去看了……
1599
浏览
网站抓取失败，显示“更新IP和Robots”，请问大神这是什么意思？ Robots
<h1>网站这几天发布的东西一直显示流量数为零，跟之前一发就有浏览数反常，并且收录也只有几条，<br></h1><p><a href="http://javascript:;&……
1599
浏览
用百度统计检测我的robots，现在无法连接服务器，是什么问题？ Robots 百度统计
<p>百度统计检测robots，显示 “百度暂时无法连接您的服务器，请确保您网站的服务器工作正常。”</p><p>是不是我的网站服务器有什么问题啊，我自己也是觉得有问题，但是不知道问题出在哪</p&……
1597
浏览
robots.txt 文件如何禁止某个搜索引擎访问 Robots
robots.txt 文件如何禁止某个搜索引擎访问
1596
浏览
网站地图提交一直显示等待...是怎么回事 Robots 站长平台
<p>如题，网站地图URL放在robots底部也不抓取，去站长平台提交也不行，反馈也没用，有什么好的办法吗。</p><p></p>……
1596
浏览
百度蜘蛛在robots.txt中的名字是什么? Robots 百度蜘蛛（baiduspider）
百度蜘蛛在robots.txt中的名字是什么? 知道的大神麻烦告诉下。
1596
浏览
大家网站的robots检测都能成功检测吗 Robots
<p>大家网站的robots检测都能成功检测吗 我这边一直都不成功 很久了。 你们有这种情况吗</p><p><br></p>……
1592
浏览
内容页文章收录很慢，然后我把内容页目录的添加到Robots Robots 文章
<table><tbody><tr><td><div><div><div><table><tbody><tr><t……
1589
浏览
为啥百度蜘蛛只抓取CSS文件？ Robots 百度蜘蛛
百度蜘蛛很少抓取文章，而是大量抓取CSS文件，这个我在ROBOTS写入了经禁止抓取，会有影响吗？……
1585
浏览
网站被篡改后，批量生成了很多首页快债 Robots 动态链接
<p>网站前段时间被挂链接了，篡改页面了，持续了几天才完全清除，但是首页生成了很多动态链接 </p><p>类似<a href="https://XXX.cn/?id=rqswv"……
1582
浏览
兄弟们请教下如何屏蔽一艘，Ahrefs，微软蜘蛛，设置了robots依旧无效。 Robots
<p>兄弟们，有知道怎么屏蔽一艘，ahrefs，微软这些蜘蛛的吗？我设置了robots文件，依旧没用，这些蜘蛛会占用我的CPU，请教下各位大神有其他办法屏蔽吗？</p><p><br><b……
1579
浏览
停用二年的老域名做新站，上线半个月了，百度蜘蛛一次没有来过，也不收录，什么原因？ Robots Site 老域名 Sitemap
我用老域名做新站，上线半个月了，蜘蛛不来，也不收录，什么原因？ 1 、爱听评书网 https://www.2tps.com 2、站长后台提交几次了 3、sitemap 也提交 了 4、抓取测试正常，robots.tx……
1578
浏览
网赚外联找不到，怎么办 Robots Site 竞价 JS
http://daohang.254.com.cn/ 首尔底部链接Powered by www.lusongsong.com模板如下：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Tran……
1576
浏览
我的robots这样写可以吗？把所有的sitemap都写上去了 Robots Site Sitemap
<p><br></p><p>网站是www.gdjinglan.com，6个都写在robots里面了，会不会冲突</p>……
1574
浏览
请问6系统中默认的robots设置具体含义。如果这样设置有没有问题。 Robots
<p><br></p>
1574
浏览
跳转链接怎样从302变成301，在线等高手解答！ Robots PHP 跳转
如题：我的链接是www.xxxx.com/p/go.php?id=814&zm=1，其中814是文章的ID，相当于每篇文章都有这么一个跳转链接，跳转至第三方平台。而www.xxxx.com/p/go.php?id=814&z……
1572
浏览
2个域名同时绑定到一个网站，请问如何屏蔽搜索引擎 Robots
2个域名同时绑定到一个网站，我想让搜索引擎只收录其中一个，请问怎么写robots实际情况是：A域名被微信屏蔽了，所以重新加了一个B名，但是我在外宣传都是A域名，seo也做的A域名，A域名在微信暂时还没申诉成功。所以我2个域名都能单独访问，但……
1570
浏览
robots.txt文件如何翻译 Robots
<p><br></p>
1568
浏览
搜狗搜索站长平台网站验证出现“网站无法访问，请检查湾站配置”是什么情况啊，有哪位大神知道如何解决 Robots 搜狗 站长平台 网站验证
<p><br></p><p>网站的robots是正常的，也没有ip白名单</p>
1564
浏览
没法被收录的网页怎么处理比较合适呢？ Robots 内容收录 收录率
如果网站当中很多网页是很难收录的（比方说就是采集的内容，不要求引流，只是要求能让网站有让客户看的内容，不然网站内容太少，没什么好看的话，流失率会非常高），那这种网页要不要在Robots禁止抓取呢？ 还是就让他这样存在？ 如果不禁止抓取的话，……
1564
浏览
网站诊断抓取异常，robots显示连接异常 Robots 搜狗 站长平台 网站诊断
<p>都是在一个服务器上的网站，都出现了这样的情况。不光百度，搜狗也是，站长平台显示无法连接，问了服务器商，说服务器没问题。网站也确实能打开，现在不知道是什么原因了，求解。</p><p><br>……
1563
浏览
1563
浏览
新站，如何让网站内页，收录加快 Robots CDN 黑客 JS
1、内页诊断 当我们遇到网站内页不收录，而只收录首页的时候，我们一定要审查网站，通过有效的诊断发现问题，具体我们通常会参考如下两种情况： （1）首页收录，且有排名 如果你的网站只收录一个首页，并且首页具有一定的关键词排名，实际上，这种……
1562
浏览
请问Robots有3个错误该怎么修改。 Robots 站长平台
<p>我的网站www.spa1.net，在百度站长平台检测Robots的时候，显示有3个错误，不知道该如何修改，请大神指导，谢谢。</p><p><br></p>……
1561
浏览
应该怎么处理网站以前的采集文 Robots 内容修改
在下刚入行新手，有个问题想请教各位大佬。 我接收了一个没优化过得网站，网站里被以前的人写了好多采集文章，甚至有的一篇文章只有一句话，感觉这种情况对优化很不好，想要删除了自己再增加原创文章。但是这些文章地址例如：http://www.aika……
1561
浏览
大家帮忙看看这是什么问题？ 推荐热议 Robots 搜索结果
<p>网站是五月份上线的，现在两个多月了，内页一直没收录，今天发现一个问题，就是首页有两个搜索结果，一个是带www，一个不带www，不带www的提示robots.txt文件存在限制指令，实际上robots.txt禁止是上线前设置……
1559
浏览
Robots是百度蜘蛛第一先抓取的？ Robots
请问各位大神，Robots文件在哪里如何设置？
1559
浏览
网页已提交死链后，是否需要设置robots? Robots
网页已提交死链后，是否需要设置robots?
1558
浏览
robots只抓取html行不行？ Robots 网站优化 JS
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？Allow:*.htmlDisallow: /某个目录/Disallow: /*?*Di……
