1690
浏览
网赚外联找不到，怎么办 Robots Site 竞价 JS
http://daohang.254.com.cn/ 首尔底部链接Powered by www.lusongsong.com模板如下：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Tran……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
1688
浏览
关于手机移动端的问题 Robots 二级域名 移动端
网站之前是把手机端放在域名二级目录下，现在手机端已经有几百个收录了，现在还是想单独用二级域名来挂手机端，需要怎么做才能保持尽量平稳过度，不掉收录？手机端二级域名出来后，原来的二级目录下的网站是需要马上关闭还是用robots限制抓取？……
1686
浏览
网站的robots.txt修改频繁会被降权吗？ Robots
之前在网上看过说robots文件修改频繁容易被降权不知道是不是真的，请各位大牛们帮忙分析下……
1685
浏览
网站地图放在目录里面和直接放在根目录有什么区别 Robots Site Sitemap 文章
网站栏目和文章数量多，直接生成sitemap地图会有很多分页，把地图生成在sitemap一个文件夹，然后robots中添加地图的目录指引，这样可行吗？和直接生成sitemap.xml有什么区别？……
1683
浏览
为什么我的robots.txt检测显示错误码：404？ Robots Site 404
<p>robots.txt不是sitemap.xml文件吗</p><p></p><p>www. molihuawang. com</p>
1680
浏览
有没有比较好的可以查询友情链的工具呢？用站长工具查有的能显示，有的不显示。 Robots 站长工具 Nofollow 代码
还有一点就是 查询其他网站关于自己网站友情链接 会提示（屏蔽了所有的蜘蛛 ） 然后我就去看了一下自己网站的首页， 有一串代码是<meta name="robots" content="nofollow" /> 而且我去看了……
1673
浏览
你们有这个问题吗？robots测试，显示服务器配置有问题，怎么解决 Robots
<p><br></p><p>你们有这个问题吗？robots测试，显示服务器配置有问题，怎么解决？错误码是301，但是网站是可以正常打开的</p>……
1673
浏览
robots其中的一个写法请教，各位老铁新年好 Robots PHP 404
<p>我想不让蜘蛛抓取网址结构是：域名/index.php?s=/vod-type-id-1-type--area-%E7%BE%8E%E5%9B%BD-year-0-star--state--order-hits-p-52.h……
1672
浏览
如何写robots文件？ Robots JS 404
由于模板自带想改，看了日志很多404 都是JS ，CSS的还有就是skin这个文件夹能屏蔽吗？求神看下写法有没错？还需要屏蔽上面？JS和CSS能屏蔽吗 / www.tljbxz.comUser-agent: * Disallow: /pl……
1671
浏览
robots已经取消了,为啥百度还是不来抓?测试都正常 Robots
<p><br></p><p>robots取消后页面多久才能恢复正常？用百度的robots测试正常通过。</p>……
1670
浏览
大家网站的robots检测都能成功检测吗 Robots
<p>大家网站的robots检测都能成功检测吗 我这边一直都不成功 很久了。 你们有这种情况吗</p><p><br></p>……
1667
浏览
Robots.txt这个文件这样弄对吗，因为没有nofollow源码后台 Robots Nofollow
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: * Disallow: User-agent: * Disallow: /bin/cgi/http:……
1665
浏览
内容页文章收录很慢，然后我把内容页目录的添加到Robots Robots 文章
<table><tbody><tr><td><div><div><div><table><tbody><tr><t……
1659
浏览
兄弟们请教下如何屏蔽一艘，Ahrefs，微软蜘蛛，设置了robots依旧无效。 Robots
<p>兄弟们，有知道怎么屏蔽一艘，ahrefs，微软这些蜘蛛的吗？我设置了robots文件，依旧没用，这些蜘蛛会占用我的CPU，请教下各位大神有其他办法屏蔽吗？</p><p><br><b……
1650
浏览
网站抓取失败，显示“更新IP和Robots”，请问大神这是什么意思？ Robots
<h1>网站这几天发布的东西一直显示流量数为零，跟之前一发就有浏览数反常，并且收录也只有几条，<br></h1><p><a href="http://javascript:;&……
1648
浏览
网站地图提交一直显示等待...是怎么回事 Robots 站长平台
<p>如题，网站地图URL放在robots底部也不抓取，去站长平台提交也不行，反馈也没用，有什么好的办法吗。</p><p></p>……
1648
浏览
百度蜘蛛在robots.txt中的名字是什么? Robots 百度蜘蛛（baiduspider）
百度蜘蛛在robots.txt中的名字是什么? 知道的大神麻烦告诉下。
1648
浏览
https宝塔强制全站后 做了301 百度抓不到robots什么情况 关了全站就可以 但是出现http 和htpps共存 Robots 宝塔
https宝塔强制全站后 做了301 百度检测抓不到robots提示301 或者错误 什么情况 关了全站就可以 但是出现http 和htpps共存……
1646
浏览
用百度统计检测我的robots，现在无法连接服务器，是什么问题？ Robots 百度统计
<p>百度统计检测robots，显示 “百度暂时无法连接您的服务器，请确保您网站的服务器工作正常。”</p><p>是不是我的网站服务器有什么问题啊，我自己也是觉得有问题，但是不知道问题出在哪</p&……
1646
浏览
1644
浏览
robots只抓取html行不行？ Robots 网站优化 JS
只抓取网站html行不行？ 将含？的页面，模板、图片、css、js目录这些都不抓取行不行？ 会不会影响网站优化的呢 有没有副作用？？Allow:*.htmlDisallow: /某个目录/Disallow: /*?*Di……
1641
浏览
robots.txt 文件如何禁止某个搜索引擎访问 Robots
robots.txt 文件如何禁止某个搜索引擎访问
1639
浏览
网站诊断抓取异常，robots显示连接异常 Robots 搜狗 站长平台 网站诊断
<p>都是在一个服务器上的网站，都出现了这样的情况。不光百度，搜狗也是，站长平台显示无法连接，问了服务器商，说服务器没问题。网站也确实能打开，现在不知道是什么原因了，求解。</p><p><br>……
1639
浏览
为啥百度蜘蛛只抓取CSS文件？ Robots 百度蜘蛛
百度蜘蛛很少抓取文章，而是大量抓取CSS文件，这个我在ROBOTS写入了经禁止抓取，会有影响吗？……
1638
浏览
大家帮忙解决我站爱跨境论坛robots.txt的问题 Robots
我的网站robots.txt www.ikuajing.com/robots.txt 里面禁止了/data/但是我想让搜索引擎允许收录这个图片,又要禁止搜索引擎抓取DATA其他的文件的内容，该怎么写 我的图片地址是：www.ikuajin……
1634
浏览
我的robots这样写可以吗？把所有的sitemap都写上去了 Robots Site Sitemap
<p><br></p><p>网站是www.gdjinglan.com，6个都写在robots里面了，会不会冲突</p>……
1633
浏览
网站被篡改后，批量生成了很多首页快债 Robots 动态链接
<p>网站前段时间被挂链接了，篡改页面了，持续了几天才完全清除，但是首页生成了很多动态链接 </p><p>类似<a href="https://XXX.cn/?id=rqswv"……
1632
浏览
跳转链接怎样从302变成301，在线等高手解答！ Robots PHP 跳转
如题：我的链接是www.xxxx.com/p/go.php?id=814&zm=1，其中814是文章的ID，相当于每篇文章都有这么一个跳转链接，跳转至第三方平台。而www.xxxx.com/p/go.php?id=814&z……
1628
浏览
停用二年的老域名做新站，上线半个月了，百度蜘蛛一次没有来过，也不收录，什么原因？ Robots Site 老域名 Sitemap
我用老域名做新站，上线半个月了，蜘蛛不来，也不收录，什么原因？ 1 、爱听评书网 https://www.2tps.com 2、站长后台提交几次了 3、sitemap 也提交 了 4、抓取测试正常，robots.tx……
1623
浏览
没法被收录的网页怎么处理比较合适呢？ Robots 内容收录 收录率
如果网站当中很多网页是很难收录的（比方说就是采集的内容，不要求引流，只是要求能让网站有让客户看的内容，不然网站内容太少，没什么好看的话，流失率会非常高），那这种网页要不要在Robots禁止抓取呢？ 还是就让他这样存在？ 如果不禁止抓取的话，……
1622
浏览
网站业务文件没有在根目录下面是否有影响 Robots 404页面 根目录 404
首先，我不太确定是否有什么不好的影响，我和建站人员沟通后了解到根目录是在我们站点文件夹下public这个文件，public这个文件夹里面放了404页面，站点地图及robots文件。访问XXX/robots.txt也确实能访问。那就确定根目录……
1621
浏览
小白请教一下问题，下面的抓取乱码如何在robots.txt里填写禁止抓取代码 Robots 乱码 代码
<p><br></p>
1621
浏览
请问6系统中默认的robots设置具体含义。如果这样设置有没有问题。 Robots
<p><br></p>
1617
浏览
新站，如何让网站内页，收录加快 Robots CDN 黑客 JS
1、内页诊断 当我们遇到网站内页不收录，而只收录首页的时候，我们一定要审查网站，通过有效的诊断发现问题，具体我们通常会参考如下两种情况： （1）首页收录，且有排名 如果你的网站只收录一个首页，并且首页具有一定的关键词排名，实际上，这种……
1616
浏览
Robots是百度蜘蛛第一先抓取的？ Robots
请问各位大神，Robots文件在哪里如何设置？
1616
浏览
robots文件之前设置来屏蔽搜索引擎,现在修改后百度多久收录/更新网站？ 网络营销 Robots
我网站上个月因为robots文件设置错误，禁止了所有搜索引擎的抓取，昨天才改过来，并且向百度主动提交了链接。请问这样网站多久才会被收录？我的网站：www.yunsites.com, 大家帮忙看看有什么能够加快收录的大招吗？……
1615
浏览
robots.txt文件如何翻译 Robots
<p><br></p>
1615
浏览
2个域名同时绑定到一个网站，请问如何屏蔽搜索引擎 Robots
2个域名同时绑定到一个网站，我想让搜索引擎只收录其中一个，请问怎么写robots实际情况是：A域名被微信屏蔽了，所以重新加了一个B名，但是我在外宣传都是A域名，seo也做的A域名，A域名在微信暂时还没申诉成功。所以我2个域名都能单独访问，但……
