1439
浏览
如何利用robots文件进行网站优化操作？ Robots 优化操作
如何利用robots文件进行网站优化操作？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1432
浏览
请问Robots有3个错误该怎么修改。 Robots 站长平台
<p>我的网站www.spa1.net，在百度站长平台检测Robots的时候，显示有3个错误，不知道该如何修改，请大神指导，谢谢。</p><p><br></p>……
1432
浏览
网站地图提交一直显示等待...是怎么回事 Robots 站长平台
<p>如题，网站地图URL放在robots底部也不抓取，去站长平台提交也不行，反馈也没用，有什么好的办法吗。</p><p></p>……
1431
浏览
我的robots这样写可以吗？把所有的sitemap都写上去了 Robots Site Sitemap
<p><br></p><p>网站是www.gdjinglan.com，6个都写在robots里面了，会不会冲突</p>……
1430
浏览
网站的robots.txt修改频繁会被降权吗？ Robots
之前在网上看过说robots文件修改频繁容易被降权不知道是不是真的，请各位大牛们帮忙分析下……
1429
浏览
大家帮忙看看这是什么问题？ 推荐热议 Robots 搜索结果
<p>网站是五月份上线的，现在两个多月了，内页一直没收录，今天发现一个问题，就是首页有两个搜索结果，一个是带www，一个不带www，不带www的提示robots.txt文件存在限制指令，实际上robots.txt禁止是上线前设置……
1428
浏览
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示 Robots Site
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示，有办法不展示或者去除这一部分动态页面吗？……
1428
浏览
每天对网站进行诊断哪些结构？ Robots Site 排名 代码
每天要诊断网站服务器、关键词排名变化、索引量、sitemap、robots.txt、新收录链接、网站结构、友情链接、抓取频次、代码结构，老铁们，除了这些你们还诊断哪些呢……
1428
浏览
如何检查robots文件的正确性？ Robots
如何检查robots文件的正确性？
1427
浏览
Robots是百度蜘蛛第一先抓取的？ Robots
请问各位大神，Robots文件在哪里如何设置？
1427
浏览
如何写robots文件？ Robots JS 404
由于模板自带想改，看了日志很多404 都是JS ，CSS的还有就是skin这个文件夹能屏蔽吗？求神看下写法有没错？还需要屏蔽上面？JS和CSS能屏蔽吗 / www.tljbxz.comUser-agent: * Disallow: /pl……
1424
浏览
robots其中的一个写法请教，各位老铁新年好 Robots PHP 404
<p>我想不让蜘蛛抓取网址结构是：域名/index.php?s=/vod-type-id-1-type--area-%E7%BE%8E%E5%9B%BD-year-0-star--state--order-hits-p-52.h……
1423
浏览
Robots.txt这个文件这样弄对吗，因为没有nofollow源码后台 Robots Nofollow
# robots.txt generated at http://tool.chinaz.com/robots/ User-agent: * Disallow: User-agent: * Disallow: /bin/cgi/http:……
1415
浏览
请问6系统中默认的robots设置具体含义。如果这样设置有没有问题。 Robots
<p><br></p>
1412
浏览
网页已提交死链后，是否需要设置robots? Robots
网页已提交死链后，是否需要设置robots?
1408
浏览
同样是对百度蜘蛛设限，robots文件与nofollow标签有什么样的区别？ Robots Nofollow
同样是对百度蜘蛛设限，robots文件与nofollow标签有什么样的区别？
1404
浏览
百度蜘蛛总抓取之前网站的内容链接，robots屏蔽也没用，怎么回事？ Robots 百度蜘蛛
蜘蛛老是抓取之前网站内容的链接，robots屏蔽也没用，可是之前网站我已经都删除了啊？
1401
浏览
没法被收录的网页怎么处理比较合适呢？ Robots 内容收录 收录率
如果网站当中很多网页是很难收录的（比方说就是采集的内容，不要求引流，只是要求能让网站有让客户看的内容，不然网站内容太少，没什么好看的话，流失率会非常高），那这种网页要不要在Robots禁止抓取呢？ 还是就让他这样存在？ 如果不禁止抓取的话，……
1397
浏览
求各位帮忙分析一下，7个月了，网站一直不收录内页，目前只有首页收录 推荐热议 Robots 索引
<p>1、网站索引目前43，但是也是差不多一两个月没有增长了，这43个索引都是最近两个月突然有一天冒出来的，然后差不多一个星期就有43，但是后续就基本上没有增加过了</p><p><br><……
1395
浏览
关于网站排名需要注意的问题 Robots Site JS 404
1.每个网页标题简洁，不超过30字。 2.每个网页核心关键词不超过3个。如果可以，你要学会放弃。 3.最重要的关键词放在标题首位，依次类推。 4.网站的描述，简洁，明了，最开始和结束部分自然出现关键词。 5.网站导航采用文字导航。 6.网站……
1394
浏览
小白请教一下问题，下面的抓取乱码如何在robots.txt里填写禁止抓取代码 Robots 乱码 代码
<p><br></p>
1392
浏览
怎么正确使用robots文件？ Robots
robots文件怎么写？
1389
浏览
如用robots禁止百度爬取图片，百度安全平台还会检测这些图片吗？ Robots
都知道百度现在对网站内容检测很严格，用的是AI检测，所以，就会出现误封。注：百度这个技术在AI平台上可以试用，但仅限于静态图片，所以GIF图片没法试用，但百度仍然会检测我的思路就是一篇文章，GIF图片不让百度爬取，而文章和其他内容正常让百度……
1386
浏览
百度对robots有适应期？为什么robots禁止了某文件夹，蜘蛛依然爬行。 推荐热议 Robots 网站日志 百度资源平台
<p><br></p><p>百度资源平台已经显示不允许。</p><p><br></p><p>网站日志里蜘蛛依然爬行。</p&g……
1384
浏览
robots文件是否需要禁止图片文件夹和css js文件 Robots 增加收录 JS
日志查询到蜘蛛大量访问图片和css等文件，禁止了的话能让蜘蛛有时间抓取其他更多页面增加收录吗……
1384
浏览
为啥百度蜘蛛只抓取CSS文件？ Robots 百度蜘蛛
百度蜘蛛很少抓取文章，而是大量抓取CSS文件，这个我在ROBOTS写入了经禁止抓取，会有影响吗？……
1383
浏览
百度近期算法调整，“未能抓取成功”不收录怎么办？ 软文 Robots 站群 CDN
毫无疑问，自熊掌号上线以来，百度算法我们几乎认为每天都在调整，从“号”变“ID”虽然，战略层面的因素更多，但相关的搜索权益也在悄然变更。从目前来看，对于网站运营人员而言，如果你配置了熊掌ID，那么，近期，我们面临最多的一件事情就是：“未能抓……
1382
浏览
跳转链接怎样从302变成301，在线等高手解答！ Robots PHP 跳转
如题：我的链接是www.xxxx.com/p/go.php?id=814&zm=1，其中814是文章的ID，相当于每篇文章都有这么一个跳转链接，跳转至第三方平台。而www.xxxx.com/p/go.php?id=814&z……
1380
浏览
robots文件之前设置来屏蔽搜索引擎,现在修改后百度多久收录/更新网站？ 网络营销 Robots
我网站上个月因为robots文件设置错误，禁止了所有搜索引擎的抓取，昨天才改过来，并且向百度主动提交了链接。请问这样网站多久才会被收录？我的网站：www.yunsites.com, 大家帮忙看看有什么能够加快收录的大招吗？……
1379
浏览
有没有大佬愿意给新手SEO指点一下方向啊 Robots
有没有大佬愿意给新手SEO指点一下方向啊除了每天写下原创文章 和搜外带下外链 找人换下友链 还有其他的方法没 感觉好迷茫 没方向http://www.deepcareclinic.com/ 首页收录居然掉了 一开始没开robo……
1377
浏览
百度4月8号以后的数据怎么还不放出？ Robots
<p>8号加了个robots屏蔽蜘蛛，隔天就解了，后边测试都是正常。但页面的数据还是限制抓取状态。还是个刚改版的站，好无语。</p><p><br></p><p><……
1377
浏览
请问大家百度蜘蛛不爬取新站原因都有哪些？ Robots 网站程序 伪原创 文章
新建了一个网站quan116.com 有一段时间了 也一直推送百度提交收录 但是百度蜘蛛一直不爬取网站 robots设置没有问题网站程序是织梦自适应的 内容是伪原创 就是空间是买的香港虚拟主机 很便宜 一直怀疑是空……
1375
浏览
有没有比较好的可以查询友情链的工具呢？用站长工具查有的能显示，有的不显示。 Robots 站长工具 Nofollow 代码
还有一点就是 查询其他网站关于自己网站友情链接 会提示（屏蔽了所有的蜘蛛 ） 然后我就去看了一下自己网站的首页， 有一串代码是<meta name="robots" content="nofollow" /> 而且我去看了……
1374
浏览
停用二年的老域名做新站，上线半个月了，百度蜘蛛一次没有来过，也不收录，什么原因？ Robots Site 老域名 Sitemap
我用老域名做新站，上线半个月了，蜘蛛不来，也不收录，什么原因？ 1 、爱听评书网 https://www.2tps.com 2、站长后台提交几次了 3、sitemap 也提交 了 4、抓取测试正常，robots.tx……
1372
浏览
兄弟们请教下如何屏蔽一艘，Ahrefs，微软蜘蛛，设置了robots依旧无效。 Robots
<p>兄弟们，有知道怎么屏蔽一艘，ahrefs，微软这些蜘蛛的吗？我设置了robots文件，依旧没用，这些蜘蛛会占用我的CPU，请教下各位大神有其他办法屏蔽吗？</p><p><br><b……
1369
浏览
请问大家最近用百度robots检测工具有没有出现这个问题？ Robots
<p><br></p>
1367
浏览
搜索引擎抓a目录以及a目录下面的所有内容 该怎么写？ Robots
robots里/a/ 和/a 有什么区别？
1367
浏览
站内站seo设置问题 Robots Site Sitemap 404
站内站需要从新设置404、sitemap robots 吗？
1367
浏览
<meta name="robots" content="nofollow"/> Robots Nofollow 代码
关于nofollow的问题，这个代码是写在meta标签上，用来告诉搜索引擎不要抓取网页上的所有外部和包括内部链接的，那前面的robots是什么意思呢？是要写在robots文件里，还是有其他意思？……
1363
浏览
网站诊断抓取异常，robots显示连接异常 Robots 搜狗 站长平台 网站诊断
<p>都是在一个服务器上的网站，都出现了这样的情况。不光百度，搜狗也是，站长平台显示无法连接，问了服务器商，说服务器没问题。网站也确实能打开，现在不知道是什么原因了，求解。</p><p><br>……
