1540
浏览
怎么在robots.txt 文件中添加代码告诉搜索引擎Sitemap的位置？ Robots Site
怎么在robots.txt 文件中添加代码告诉搜索引擎Sitemap的位置？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1538
浏览
robots是屏蔽访问路径的吗？ Robots Nofollow
是屏蔽访问路径，和禁止指定目录抓取，不让别人看到，禁止目录？nofollow还是robots，这两个不清楚是哪一个禁止的了？……
1536
浏览
SEO外链人员如何发外链？ Robots SEOer Site JS
SEO外链专员在国外是一份高薪且极为重要的职务，在中国则是属于比较底层的职位，薪资范围大概在2000-3000元/月，对学历几乎没有什么要 求，普通高中毕业的学生经过简单培训，就能上岗，甚至完全不要求有工作经验。应聘这个职位的SEOer(其……
1533
浏览
现在的网站内页及文章也搜索展现的都是动态url页面，静态页面也有些被收录，现在用robots屏蔽动态url会对权重或排名有影响吗？ Robots 301重定向 关键词排名
我随便去复制网站里的文章标题去百度，出来结果都是带？的，也就是动态，然后有的文章动态和静态都收录了，但更多的是动态的一定会被收录，静态的有些不会收录。目前的很多关键词排名都不错，差不多都在首页，一些指数上千的也在第二页，如果这个时候用rob……
1533
浏览
robots访问没问题，但是蜘蛛日志百度蜘蛛爬取robots.txt显示404。 Robots 404
robots访问没问题，但是蜘蛛日志百度蜘蛛爬取显示404。大佬们知道这是什么情况嘛？还会一直抓取一些错误的链接，应该如何处理好呢，小白求救哇……
1532
浏览
如何自动https并且robots文件能被抓取？ Robots HTTPS协议 跳转
请问如果能实现让http协议的xxx.com www.xxx.com 以及https协议的xxx.com 自动跳转到https带有www的域名，并且还能够让robots文件有效被蜘蛛抓取到。 本人尝试过通过url重写 和config文件 3……
1530
浏览
网站如何设置robots？ Robots
网站如何设置robots？怎么做
1528
浏览
从朋友那边，收了一个2年的博客站，改版后2周了 不收录，有没有什么见解呢？ Robots Site PHP 代码
<p>各位大神，帮忙分析一下，小弟在此谢过了。<br></p><p>大概2周前，正式让解析到我服务器。替换之前搭建的demo站点，由于本地测试中 它原有博客现有程序 使用盗版 改动官方底层代码……
1524
浏览
robots.txt文件放在哪里 Robots
robots.txt文件放在哪里
1517
浏览
急急急！网站收录900多变100多，大佬看看咋回事 网站收录 Robots
昨天更新了网站地图和robots，网站描述改了几个字，昨天还收录900多，今天变成了100多，不知道是怎么原因导致的，求各位大佬分析分析?，我的网站：stblgzp.com……
1513
浏览
外贸通宝：GOOGLE SEO站内优化怎样才算合格？ Robots H1标签 404 排名
<p>1. 给您的网站创建网站地图</p><p>网站地图可以让你的网站快速地被google抓取和收录，如下图： ↓</p><p><a href="https://w……
1512
浏览
百度资源平台robots检测出问题了，你们呢 Robots 百度资源平台
<p><br></p>
1510
浏览
关于手机移动端的问题 Robots 二级域名 移动端
网站之前是把手机端放在域名二级目录下，现在手机端已经有几百个收录了，现在还是想单独用二级域名来挂手机端，需要怎么做才能保持尽量平稳过度，不掉收录？手机端二级域名出来后，原来的二级目录下的网站是需要马上关闭还是用robots限制抓取？……
1508
浏览
网站之前设置了robots禁止蜘蛛抓取所有页面，修改后一个星期了，还是显示限制搜索引擎抓取？ 推荐热议 Robots 搜索结果 文章
之前有几个月没打理网站就一直禁止蜘蛛抓取所有页面，最近更新了一些文章，title也修改了，但是搜索结果还是以前的。提交了链接给百度，但一个星期了，百度搜索资源平台后台显示网站没有任何抓取和索引。感谢大神们指点：www.chuangyeok.……
1505
浏览
网站首页突然消失，该怎么恢复？ Robots
网站之前用asp做的，后来更换成dede的模板，上线后robots禁止抓取，前两天解禁了，但是首页消失了，请问哪位大神遇到过这种情况，该怎么解决啊？……
1503
浏览
我的网站爱情robots.txt文件要不要加Sitemap进去呢? Robots Site Sitemap
网站写上Sitemap: https://www.aiqingqu.net/sitemap.xml和不写Sitemap: https://www.aiqingqu.net/sitemap.xml有什么区别呢……
1502
浏览
一个网站可以SEO和SEM同时做吗？还是要分开做？ 数据分析 Robots SEM
如题，我想问下，我们公司只有一个网站，可以同时做SEO和SEM吗，这样对数据分析是不是不太好，比如转化来源、成本等。还是说需要再做一个镜像站，一个做SEO，一个做SEM，还有SEM的镜像站需要在robots里屏蔽爬虫访问吗？希望大神解答下，……
1498
浏览
网站因为技术问题，设置错了robots文件，导致整站都不抓取，关键词下降非常严重 Robots
<p>一发现已经马上关闭了robots文件，目前的情况如下，这样需要多久才能够恢复正常呢？</p><p><br></p>……
1496
浏览
网站tag标签放了主关键词，是不是会影响首页的主关键词排名？ Robots Tag标签 排名
<p>网站核心词老师在第二三页不动，很不稳定，有时候到首页百度已更新又没了甚至找不到，是不是因为tag标签里放了主关键词导致的权重分散了呀，要不要删除还是robots屏蔽了呢，主关键词：cpa联盟，cpa广告联盟，广告联盟，网站……
1495
浏览
robots文件打开是乱码 Robots 乱码
<p></p><p>打开是这样，正常吗？还是我打开的方式不对？<br></p>
1494
浏览
你们有这个问题吗？robots测试，显示服务器配置有问题，怎么解决 Robots
<p><br></p><p>你们有这个问题吗？robots测试，显示服务器配置有问题，怎么解决？错误码是301，但是网站是可以正常打开的</p>……
1474
浏览
一直听别人讲SEO，自己弄个站今天第19天，前天还收录60个，今天site只有49个页 CMS Robots Site
一直在看别人写的关于SEO文章，自己也做了一个网站，用的是.com域名，阿里云服务器，dedecms,10月10日上线，域名www.faxpp.com 做喷淋塔废气处理的，上线前产品内容基本都完善了，新闻等几个栏目，各上了5个。每天记录网站……
1474
浏览
网站如何添加robots文件？ Robots 网站结构
优化小白提问，想知道优化网站robots文件该如何添加呢？哪位大神能教一下方法，还有我的网站结构方面，还有什么改进的地方吗？www.naiom.com帮我看一下呗。……
1473
浏览
robots.txt 文件如何禁止某个搜索引擎访问 Robots
robots.txt 文件如何禁止某个搜索引擎访问
1469
浏览
大家网站的robots检测都能成功检测吗 Robots
<p>大家网站的robots检测都能成功检测吗 我这边一直都不成功 很久了。 你们有这种情况吗</p><p><br></p>……
1468
浏览
https宝塔强制全站后 做了301 百度抓不到robots什么情况 关了全站就可以 但是出现http 和htpps共存 Robots 宝塔
https宝塔强制全站后 做了301 百度检测抓不到robots提示301 或者错误 什么情况 关了全站就可以 但是出现http 和htpps共存……
1466
浏览
想请大神看下我的网站怎样可以收录 Robots 404页面 CDN 404
<p> 11月之前出现过连接超时就不怎么收录，用熊掌号可以收录，后来服务器加了cdn连接不超时了，网站日志查出来有大量的404页面，现在已经提交了404页面，网站robots,也已经更改，现在还是不怎么收录，</p>……
1466
浏览
用百度统计检测我的robots，现在无法连接服务器，是什么问题？ Robots 百度统计
<p>百度统计检测robots，显示 “百度暂时无法连接您的服务器，请确保您网站的服务器工作正常。”</p><p>是不是我的网站服务器有什么问题啊，我自己也是觉得有问题，但是不知道问题出在哪</p&……
1466
浏览
内容页文章收录很慢，然后我把内容页目录的添加到Robots Robots 文章
<table><tbody><tr><td><div><div><div><table><tbody><tr><t……
1465
浏览
网站只收录首页和新闻页，是什么原因？ Robots 网站建设 根目录 文章
由于是新网站所以搜索引擎都有一个初审期，也就是搜索引擎对于一个新网站的判断期;以前百度算法没有更新的时候，一般对于新站的初审期一般都是1个月左右。而现在只要有规律的文章更新没有太多的采集文章，这个时间大概也就1-2个星期;记住!新站一定不要……
1464
浏览
robots已经取消了,为啥百度还是不来抓?测试都正常 Robots
<p><br></p><p>robots取消后页面多久才能恢复正常？用百度的robots测试正常通过。</p>……
1461
浏览
百度为啥老是收录php页面 Robots 百度收录 PHP
<p><br></p><p><br></p><p>百度收录了我的静态页面，然后又收录了php这个页面，请问能用robots限制吗？</p>……
1459
浏览
网站抓取失败，显示“更新IP和Robots”，请问大神这是什么意思？ Robots
<h1>网站这几天发布的东西一直显示流量数为零，跟之前一发就有浏览数反常，并且收录也只有几条，<br></h1><p><a href="http://javascript:;&……
1454
浏览
如果用robots.txt屏蔽所有后缀为aspx的文件 Robots
我在robots.txt中写的是Disallow: /*.aspx$，但是好像还是抓取，请教一下该如何写
1448
浏览
网赚外联找不到，怎么办 Robots Site 竞价 JS
http://daohang.254.com.cn/ 首尔底部链接Powered by www.lusongsong.com模板如下：<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Tran……
1447
浏览
2个域名同时绑定到一个网站，请问如何屏蔽搜索引擎 Robots
2个域名同时绑定到一个网站，我想让搜索引擎只收录其中一个，请问怎么写robots实际情况是：A域名被微信屏蔽了，所以重新加了一个B名，但是我在外宣传都是A域名，seo也做的A域名，A域名在微信暂时还没申诉成功。所以我2个域名都能单独访问，但……
1446
浏览
网站地图放在目录里面和直接放在根目录有什么区别 Robots Site Sitemap 文章
网站栏目和文章数量多，直接生成sitemap地图会有很多分页，把地图生成在sitemap一个文件夹，然后robots中添加地图的目录指引，这样可行吗？和直接生成sitemap.xml有什么区别？……
1442
浏览
新站，如何让网站内页，收录加快 Robots CDN 黑客 JS
1、内页诊断 当我们遇到网站内页不收录，而只收录首页的时候，我们一定要审查网站，通过有效的诊断发现问题，具体我们通常会参考如下两种情况： （1）首页收录，且有排名 如果你的网站只收录一个首页，并且首页具有一定的关键词排名，实际上，这种……
1442
浏览
robots.txt文件如何翻译 Robots
<p><br></p>
1441
浏览
百度蜘蛛在robots.txt中的名字是什么? Robots 百度蜘蛛（baiduspider）
百度蜘蛛在robots.txt中的名字是什么? 知道的大神麻烦告诉下。
