1496
浏览
网站地图放在目录里面和直接放在根目录有什么区别 Robots Site Sitemap 文章
网站栏目和文章数量多，直接生成sitemap地图会有很多分页，把地图生成在sitemap一个文件夹，然后robots中添加地图的目录指引，这样可行吗？和直接生成sitemap.xml有什么区别？……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1495
浏览
如果用robots.txt屏蔽所有后缀为aspx的文件 Robots
我在robots.txt中写的是Disallow: /*.aspx$，但是好像还是抓取，请教一下该如何写
1493
浏览
同样是对百度蜘蛛设限，robots文件与nofollow标签有什么样的区别？ Robots Nofollow
同样是对百度蜘蛛设限，robots文件与nofollow标签有什么样的区别？
1491
浏览
如何写robots文件？ Robots JS 404
由于模板自带想改，看了日志很多404 都是JS ，CSS的还有就是skin这个文件夹能屏蔽吗？求神看下写法有没错？还需要屏蔽上面？JS和CSS能屏蔽吗 / www.tljbxz.comUser-agent: * Disallow: /pl……
1490
浏览
网赚外联找不到，怎么办 Robots Site 竞价 JS
http://daohang.254.com.cn/ 首尔底部链接Powered by www.lusongsong.com模板如下：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Tran……
1484
浏览
robots.txt文件如何翻译 Robots
<p><br></p>
1482
浏览
2个域名同时绑定到一个网站，请问如何屏蔽搜索引擎 Robots
2个域名同时绑定到一个网站，我想让搜索引擎只收录其中一个，请问怎么写robots实际情况是：A域名被微信屏蔽了，所以重新加了一个B名，但是我在外宣传都是A域名，seo也做的A域名，A域名在微信暂时还没申诉成功。所以我2个域名都能单独访问，但……
1479
浏览
我的robots这样写可以吗？把所有的sitemap都写上去了 Robots Site Sitemap
<p><br></p><p>网站是www.gdjinglan.com，6个都写在robots里面了，会不会冲突</p>……
1477
浏览
百度蜘蛛在robots.txt中的名字是什么? Robots 百度蜘蛛（baiduspider）
百度蜘蛛在robots.txt中的名字是什么? 知道的大神麻烦告诉下。
1477
浏览
新站，如何让网站内页，收录加快 Robots CDN 黑客 JS
1、内页诊断 当我们遇到网站内页不收录，而只收录首页的时候，我们一定要审查网站，通过有效的诊断发现问题，具体我们通常会参考如下两种情况： （1）首页收录，且有排名 如果你的网站只收录一个首页，并且首页具有一定的关键词排名，实际上，这种……
1477
浏览
为啥百度蜘蛛只抓取CSS文件？ Robots 百度蜘蛛
百度蜘蛛很少抓取文章，而是大量抓取CSS文件，这个我在ROBOTS写入了经禁止抓取，会有影响吗？……
1472
浏览
请问Robots有3个错误该怎么修改。 Robots 站长平台
<p>我的网站www.spa1.net，在百度站长平台检测Robots的时候，显示有3个错误，不知道该如何修改，请大神指导，谢谢。</p><p><br></p>……
1471
浏览
为什么我的网站在百度上之前还能搜索到，现在却搜索不到了？ Robots 老域名 阿里云
请大神帮我看看：我的网站一直更新内容、做维护，前几天还能在百度搜索到，最近百度搜索不到了。我自己在百度上也查找了一下可能的原因，排除了一些因素：比如使用的域名是被百度惩罚过的老域名，我的域名yanxuan123。Com没有这种情况；服务器不……
1470
浏览
robots其中的一个写法请教，各位老铁新年好 Robots PHP 404
<p>我想不让蜘蛛抓取网址结构是：域名/index.php?s=/vod-type-id-1-type--area-%E7%BE%8E%E5%9B%BD-year-0-star--state--order-hits-p-52.h……
1469
浏览
求各位帮忙分析一下，7个月了，网站一直不收录内页，目前只有首页收录 推荐热议 Robots 索引
<p>1、网站索引目前43，但是也是差不多一两个月没有增长了，这43个索引都是最近两个月突然有一天冒出来的，然后差不多一个星期就有43，但是后续就基本上没有增加过了</p><p><br><……
1467
浏览
网站地图提交一直显示等待...是怎么回事 Robots 站长平台
<p>如题，网站地图URL放在robots底部也不抓取，去站长平台提交也不行，反馈也没用，有什么好的办法吗。</p><p></p>……
1461
浏览
Robots是百度蜘蛛第一先抓取的？ Robots
请问各位大神，Robots文件在哪里如何设置？
1457
浏览
大家帮忙看看这是什么问题？ 推荐热议 Robots 搜索结果
<p>网站是五月份上线的，现在两个多月了，内页一直没收录，今天发现一个问题，就是首页有两个搜索结果，一个是带www，一个不带www，不带www的提示robots.txt文件存在限制指令，实际上robots.txt禁止是上线前设置……
1454
浏览
停用二年的老域名做新站，上线半个月了，百度蜘蛛一次没有来过，也不收录，什么原因？ Robots Site 老域名 Sitemap
我用老域名做新站，上线半个月了，蜘蛛不来，也不收录，什么原因？ 1 、爱听评书网 https://www.2tps.com 2、站长后台提交几次了 3、sitemap 也提交 了 4、抓取测试正常，robots.tx……
1453
浏览
百度近期算法调整，“未能抓取成功”不收录怎么办？ 软文 Robots 站群 CDN
毫无疑问，自熊掌号上线以来，百度算法我们几乎认为每天都在调整，从“号”变“ID”虽然，战略层面的因素更多，但相关的搜索权益也在悄然变更。从目前来看，对于网站运营人员而言，如果你配置了熊掌ID，那么，近期，我们面临最多的一件事情就是：“未能抓……
1453
浏览
网页已提交死链后，是否需要设置robots? Robots
网页已提交死链后，是否需要设置robots?
1451
浏览
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示 Robots Site
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示，有办法不展示或者去除这一部分动态页面吗？……
1451
浏览
如何检查robots文件的正确性？ Robots
如何检查robots文件的正确性？
1449
浏览
百度蜘蛛总抓取之前网站的内容链接，robots屏蔽也没用，怎么回事？ Robots 百度蜘蛛
蜘蛛老是抓取之前网站内容的链接，robots屏蔽也没用，可是之前网站我已经都删除了啊？
1448
浏览
请问6系统中默认的robots设置具体含义。如果这样设置有没有问题。 Robots
<p><br></p>
1445
浏览
站内站seo设置问题 Robots Site Sitemap 404
站内站需要从新设置404、sitemap robots 吗？
1440
浏览
搜狗搜索站长平台网站验证出现“网站无法访问，请检查湾站配置”是什么情况啊，有哪位大神知道如何解决 Robots 搜狗 站长平台 网站验证
<p><br></p><p>网站的robots是正常的，也没有ip白名单</p>
1439
浏览
小白请教一下问题，下面的抓取乱码如何在robots.txt里填写禁止抓取代码 Robots 乱码 代码
<p><br></p>
1439
浏览
跳转链接怎样从302变成301，在线等高手解答！ Robots PHP 跳转
如题：我的链接是www.xxxx.com/p/go.php?id=814&zm=1，其中814是文章的ID，相当于每篇文章都有这么一个跳转链接，跳转至第三方平台。而www.xxxx.com/p/go.php?id=814&z……
1434
浏览
怎么正确使用robots文件？ Robots
robots文件怎么写？
1434
浏览
wordpress短链接相关问题 Robots 伪静态 排名 静态
最近我发现网站收录了很多短链接：www.***。Com/?p=123,并且在收录的过程中也会收录www.***。Com/123.html。双收录对seo不好，所有想把这个短链接用robots文件屏蔽了，但问题是短链接很多排名都很高，比伪静态……
1433
浏览
没法被收录的网页怎么处理比较合适呢？ Robots 内容收录 收录率
如果网站当中很多网页是很难收录的（比方说就是采集的内容，不要求引流，只是要求能让网站有让客户看的内容，不然网站内容太少，没什么好看的话，流失率会非常高），那这种网页要不要在Robots禁止抓取呢？ 还是就让他这样存在？ 如果不禁止抓取的话，……
1433
浏览
百度对robots有适应期？为什么robots禁止了某文件夹，蜘蛛依然爬行。 推荐热议 Robots 网站日志 百度资源平台
<p><br></p><p>百度资源平台已经显示不允许。</p><p><br></p><p>网站日志里蜘蛛依然爬行。</p&g……
1429
浏览
有没有比较好的可以查询友情链的工具呢？用站长工具查有的能显示，有的不显示。 Robots 站长工具 Nofollow 代码
还有一点就是 查询其他网站关于自己网站友情链接 会提示（屏蔽了所有的蜘蛛 ） 然后我就去看了一下自己网站的首页， 有一串代码是<meta name="robots" content="nofollow" /> 而且我去看了……
1425
浏览
如用robots禁止百度爬取图片，百度安全平台还会检测这些图片吗？ Robots
都知道百度现在对网站内容检测很严格，用的是AI检测，所以，就会出现误封。注：百度这个技术在AI平台上可以试用，但仅限于静态图片，所以GIF图片没法试用，但百度仍然会检测我的思路就是一篇文章，GIF图片不让百度爬取，而文章和其他内容正常让百度……
1422
浏览
robots文件之前设置来屏蔽搜索引擎,现在修改后百度多久收录/更新网站？ 网络营销 Robots
我网站上个月因为robots文件设置错误，禁止了所有搜索引擎的抓取，昨天才改过来，并且向百度主动提交了链接。请问这样网站多久才会被收录？我的网站：www.yunsites.com, 大家帮忙看看有什么能够加快收录的大招吗？……
1421
浏览
网站诊断抓取异常，robots显示连接异常 Robots 搜狗 站长平台 网站诊断
<p>都是在一个服务器上的网站，都出现了这样的情况。不光百度，搜狗也是，站长平台显示无法连接，问了服务器商，说服务器没问题。网站也确实能打开，现在不知道是什么原因了，求解。</p><p><br>……
1421
浏览
robots文件是否需要禁止图片文件夹和css js文件 Robots 增加收录 JS
日志查询到蜘蛛大量访问图片和css等文件，禁止了的话能让蜘蛛有时间抓取其他更多页面增加收录吗……
1418
浏览
为什么谷歌蜘蛛那么多？都200W多了，有有效的屏蔽谷歌蜘蛛的方法吗？ Robots 站群
<p>用的是 蚪侠镜像站群，放了50个域名，收录挺多的，就是谷歌蜘蛛N多 每日最多的时候可达500W多的量，服务器吃不消了，robots.txt屏蔽谷歌蜘蛛的方法不管用，求教有谁知道其他的屏蔽方法，谢谢！</p>……
1416
浏览
兄弟们请教下如何屏蔽一艘，Ahrefs，微软蜘蛛，设置了robots依旧无效。 Robots
<p>兄弟们，有知道怎么屏蔽一艘，ahrefs，微软这些蜘蛛的吗？我设置了robots文件，依旧没用，这些蜘蛛会占用我的CPU，请教下各位大神有其他办法屏蔽吗？</p><p><br><b……
