1282
浏览
新站，如何让网站内页，收录加快 Robots CDN 黑客 JS
1、内页诊断 当我们遇到网站内页不收录，而只收录首页的时候，我们一定要审查网站，通过有效的诊断发现问题，具体我们通常会参考如下两种情况： （1）首页收录，且有排名 如果你的网站只收录一个首页，并且首页具有一定的关键词排名，实际上，这种……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1281
浏览
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示 Robots Site
同一篇文章，存在一个动态页面，一个静态页面，不想要动态页面了，robots屏蔽了，但是site网站，动态页面还会展示，有办法不展示或者去除这一部分动态页面吗？……
1279
浏览
<meta name="robots" content="nofollow"/> Robots Nofollow 代码
关于nofollow的问题，这个代码是写在meta标签上，用来告诉搜索引擎不要抓取网页上的所有外部和包括内部链接的，那前面的robots是什么意思呢？是要写在robots文件里，还是有其他意思？……
1278
浏览
请问Robots有3个错误该怎么修改。 Robots 站长平台
<p>我的网站www.spa1.net，在百度站长平台检测Robots的时候，显示有3个错误，不知道该如何修改，请大神指导，谢谢。</p><p><br></p>……
1275
浏览
请问大家最近用百度robots检测工具有没有出现这个问题？ Robots
<p><br></p>
1275
浏览
同样是对百度蜘蛛设限，robots文件与nofollow标签有什么样的区别？ Robots Nofollow
同样是对百度蜘蛛设限，robots文件与nofollow标签有什么样的区别？
1275
浏览
网站地图提交一直显示等待...是怎么回事 Robots 站长平台
<p>如题，网站地图URL放在robots底部也不抓取，去站长平台提交也不行，反馈也没用，有什么好的办法吗。</p><p></p>……
1274
浏览
网站的robots.txt修改频繁会被降权吗？ Robots
之前在网上看过说robots文件修改频繁容易被降权不知道是不是真的，请各位大牛们帮忙分析下……
1269
浏览
https宝塔强制全站后 做了301 百度抓不到robots什么情况 关了全站就可以 但是出现http 和htpps共存 Robots 宝塔
https宝塔强制全站后 做了301 百度检测抓不到robots提示301 或者错误 什么情况 关了全站就可以 但是出现http 和htpps共存……
1267
浏览
Robots是百度蜘蛛第一先抓取的？ Robots
请问各位大神，Robots文件在哪里如何设置？
1261
浏览
百度4月8号以后的数据怎么还不放出？ Robots
<p>8号加了个robots屏蔽蜘蛛，隔天就解了，后边测试都是正常。但页面的数据还是限制抓取状态。还是个刚改版的站，好无语。</p><p><br></p><p><……
1260
浏览
百度蜘蛛在robots.txt中的名字是什么? Robots 百度蜘蛛（baiduspider）
百度蜘蛛在robots.txt中的名字是什么? 知道的大神麻烦告诉下。
1260
浏览
没法被收录的网页怎么处理比较合适呢？ Robots 内容收录 收录率
如果网站当中很多网页是很难收录的（比方说就是采集的内容，不要求引流，只是要求能让网站有让客户看的内容，不然网站内容太少，没什么好看的话，流失率会非常高），那这种网页要不要在Robots禁止抓取呢？ 还是就让他这样存在？ 如果不禁止抓取的话，……
1254
浏览
被robots屏蔽的网页如果获取了外链会获取权重？ Robots
被robots屏蔽的网页如果获取了外链会获取权重？
1252
浏览
网站robots怎样设置只让他抓取首页 Robots
网站robots怎样设置只让他抓取首页
1251
浏览
请问这种情况该如何设置robots文件？ Robots Nofollow 5118
这个网站，比如 http://www.qiuxue88.com/pages_13/是关于我们栏目，但是还存在另外一个url多了一个问号www.qiuxue88.com/?pages_13/也就是 www.qiuxue88.com/page……
1251
浏览
每天对网站进行诊断哪些结构？ Robots Site 排名 代码
每天要诊断网站服务器、关键词排名变化、索引量、sitemap、robots.txt、新收录链接、网站结构、友情链接、抓取频次、代码结构，老铁们，除了这些你们还诊断哪些呢……
1250
浏览
如何利用robots文件进行网站优化操作？ Robots 优化操作
如何利用robots文件进行网站优化操作？
1248
浏览
robots.txt屏蔽特定页面怎么写？ Robots
老哥们，我想问个问题，就是假如我网站下面有:a.com/1.html a.com/2.html ... a.com/1000.html 要屏蔽以8开头的html页面，robots.txt Disallow应该怎么写？ ……
1248
浏览
如用robots禁止百度爬取图片，百度安全平台还会检测这些图片吗？ Robots
都知道百度现在对网站内容检测很严格，用的是AI检测，所以，就会出现误封。注：百度这个技术在AI平台上可以试用，但仅限于静态图片，所以GIF图片没法试用，但百度仍然会检测我的思路就是一篇文章，GIF图片不让百度爬取，而文章和其他内容正常让百度……
1246
浏览
跳转链接怎样从302变成301，在线等高手解答！ Robots PHP 跳转
如题：我的链接是www.xxxx.com/p/go.php?id=814&zm=1，其中814是文章的ID，相当于每篇文章都有这么一个跳转链接，跳转至第三方平台。而www.xxxx.com/p/go.php?id=814&z……
1245
浏览
百度蜘蛛总抓取之前网站的内容链接，robots屏蔽也没用，怎么回事？ Robots 百度蜘蛛
蜘蛛老是抓取之前网站内容的链接，robots屏蔽也没用，可是之前网站我已经都删除了啊？
1244
浏览
网页已提交死链后，是否需要设置robots? Robots
网页已提交死链后，是否需要设置robots?
1242
浏览
可以在robots文件中同时放置，移动端和PC端的sitemap地图不？ Robots Site
可以在robots文件中同时放置，移动端和PC端的sitemap地图不？
1240
浏览
小白请教一下问题，下面的抓取乱码如何在robots.txt里填写禁止抓取代码 Robots 乱码 代码
<p><br></p>
1236
浏览
急急急！网站收录900多变100多，大佬看看咋回事 网站收录 Robots
昨天更新了网站地图和robots，网站描述改了几个字，昨天还收录900多，今天变成了100多，不知道是怎么原因导致的，求各位大佬分析分析😨，我的网站：stblgzp.com……
1235
浏览
想请大神看下我的网站怎样可以收录 Robots 404页面 CDN 404
<p> 11月之前出现过连接超时就不怎么收录，用熊掌号可以收录，后来服务器加了cdn连接不超时了，网站日志查出来有大量的404页面，现在已经提交了404页面，网站robots,也已经更改，现在还是不怎么收录，</p>……
1234
浏览
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？ Robots Nofollow
meta robots标签中 NOFOLLOW是告诉搜索引擎不要跟踪本页面上的链接，对吗？
1234
浏览
robots文件之前设置来屏蔽搜索引擎,现在修改后百度多久收录/更新网站？ 网络营销 Robots
我网站上个月因为robots文件设置错误，禁止了所有搜索引擎的抓取，昨天才改过来，并且向百度主动提交了链接。请问这样网站多久才会被收录？我的网站：www.yunsites.com, 大家帮忙看看有什么能够加快收录的大招吗？……
1232
浏览
请问6系统中默认的robots设置具体含义。如果这样设置有没有问题。 Robots
<p><br></p>
1230
浏览
网站用了robots.txt，禁止所有搜索引擎访问网站，之前是有效的，但今天看到site Robots Site APP
但今天看到site:app.lzdxedu.com有结果，robots.txt内容没变，出什么问题了？一下是robots.txt地址https://app.lzdxedu.com/robots.txt……
1229
浏览
百度对robots有适应期？为什么robots禁止了某文件夹，蜘蛛依然爬行。 推荐热议 Robots 网站日志 百度资源平台
<p><br></p><p>百度资源平台已经显示不允许。</p><p><br></p><p>网站日志里蜘蛛依然爬行。</p&g……
1224
浏览
robots.txt文件 里可以有空行吗？ Robots
robots.txt文件 里可以有空行吗？比如：Disallow: /plus和 Disallow: /data中间隔了几行User-agent: * Disallow: /plus Disallow: /data……
1223
浏览
怎么正确使用robots文件？ Robots
robots文件怎么写？
1222
浏览
关于网站排名需要注意的问题 Robots Site JS 404
1.每个网页标题简洁，不超过30字。 2.每个网页核心关键词不超过3个。如果可以，你要学会放弃。 3.最重要的关键词放在标题首位，依次类推。 4.网站的描述，简洁，明了，最开始和结束部分自然出现关键词。 5.网站导航采用文字导航。 6.网站……
1220
浏览
robots文件是否需要禁止图片文件夹和css js文件 Robots 增加收录 JS
日志查询到蜘蛛大量访问图片和css等文件，禁止了的话能让蜘蛛有时间抓取其他更多页面增加收录吗……
1218
浏览
我有一个用的得得 cms 做的网站，管理后台文件夹目录改为/OKQQ robots.txt文件禁 CMS Robots
我有一个用的得得 cms 做的网站，管理后台文件夹目录改为/okqq，在 robots.txt文件里设置User-agent: * Disallow: /ok*为了防止后台目录泄露，文件夹目录名称后面用的*号，这样设置对吗？可以阻止搜索引擎……
1217
浏览
当百度site第一个出现首页的index该怎么解决？ Robots Site
1、有什么办法可以更好的解决？2、不解决会有什么影响？3、使用robots的方法会不会有影响？……
1217
浏览
如何写robots文件？ Robots JS 404
由于模板自带想改，看了日志很多404 都是JS ，CSS的还有就是skin这个文件夹能屏蔽吗？求神看下写法有没错？还需要屏蔽上面？JS和CSS能屏蔽吗 / www.tljbxz.comUser-agent: * Disallow: /pl……
1215
浏览
请问，需要把网站.js及.css后缀写入robots么 Robots JS
比如网站路径xxx.xxx/skin/css/model.css还有xxx.xxx/skin/js/jquery-1.8.3.min.js这种路径得需要写入robots么？需要得话格式要怎么写呢？是这样写么？Disallow: /skin/……
