1193
浏览
百度蜘蛛抓取服务器连接超时是几个意思？ Robots 404 百度蜘蛛
蜘蛛爬取日志全部是404，就连robots文件都是404，请问是什么原因
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
995
浏览
robots写法怎么写对? Robots
请问大佬们，网站的robots要怎么写对?还有 查看网站的robots文件如何查看？高手指教了。
2810
浏览
站长平台里面的robots检测失败是怎么回事 Robots 站长平台
<p>之前一直没注意，今天做好了robots 检测总是失败，不知道什么情况呢 </p><p><br></p>……
1258
浏览
robots.txt可以设置只抓取html文件么？ Robots PHP JS
像这样：User-agent: *Disallow: /*?*Disallow: /*.php$Disallow: /*.js$Disallow: /*.css$Disallow: /includeDisallow: /templets……
1990
浏览
WordPress搭建的网站百度蜘蛛抓取了很多某明奇妙的文件，该怎么办？ 推荐热议 Robots 404页面 WordPress 404
<p>在robots文件中也限制了的，还是来抓取。全部都是404页面，该怎么办啊？</p><p><br></p>……
1715
浏览
老铁们 ，你们的网站后台是如何禁止蜘蛛抓取的？ Robots Site
最近发现我的网站后台的登录页面也让蜘蛛抓取了！一直想屏蔽掉但是没有合适的办法：写进robots.txt吧 ，稍微懂点的同行就能直接看到网站后台！ 不写吧，时间长了就被蜘蛛抓取了，只要一site就出来了！老铁们，给个建议，你们有什么……
1132
浏览
为什么我的robots文件检测报告是这样显示的？ Robots
<p><br></p><p>所有规则都挤在一个框框里。。。。</p>
930
浏览
robots可以加到网站后台代码里 起效吗 Robots 代码
<p>找公司重新做的网站，但是不能上传文件至根目录 这是什么lj。。。robots加到后台代码里的话 会起作用吗</p><p><br></p>……
1111
浏览
网站里的robots.txt文件里能不能写入两个sitemap，一个xml，一个html Robots Site Sitemap PHP
www.hzshenlong.com ps：蜘蛛会抓取.php文件么，抓取.php文件有啥用？
1094
浏览
robots和url重写 Robots
谁能教我一下写robots和url重写，我有一个新的网站上线，想试一下子http://www.sxkdxl.cn，希望大家能交流交流。……
1252
浏览
seo|网站怎么做收录 Robots Site JS 404
搜索引擎不收录网站的原因有很多。专业的搜索引擎优化人员会知道，网站的收录率直接反映一个网站的健康状况，是网站优化中非常重要的优化指标。网站不收录，这意味着你的网站没有机会展示更多的客户，当然，它也不能为广大网民提供有价值的内容。那么se……
1881
浏览
每次提交天级收录，最后总提示robots封禁 Robots WordPress
每次提交天级收录，最后总提示robots封禁，检查了一遍，wordpress后台设置改过了，robots文件也没问题，还有什么地方我忘了？……
1335
浏览
网站在搜狗站长工具提交了，快两个月了 连首页都没收录。 Robots 站长工具 搜狗
每天搜狗蜘蛛来爬 只爬 robots.txt 然后状态码是 400，用各种工具验证过都是200状态，请问有大佬遇到过这个情况的吗？……
2198
浏览
百度站长工具平台是不是出问题了？robots检测都检测不到？ Robots CDN 404
<p>每次检测robots就提示：请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。</p><p><br></p><p><br></p&g……
1993
浏览
1002
浏览
robots.txt怎么写？ Robots
怎么这个robots文件？
975
浏览
蜘蛛抓取到的robots是404怎么办 Robots 404
<p>一个网站robots抓取的是301，一个是404</p><p><br></p>
1318
浏览
当百度site第一个出现首页的index该怎么解决？ Robots Site
1、有什么办法可以更好的解决？2、不解决会有什么影响？3、使用robots的方法会不会有影响？……
1152
浏览
在静态页面上使用动态参数，会造成spider多次和重复抓取，这个问题怎么解决？ Robots 动态链接 静态
<p><br></p><p>如图，这动态链接怎么怎么解决？写进robots.txt里？</p><p>有没有更好的办法？</p>……
1305
浏览
1204
浏览
离职的员工给robots加了这代码 Robots 增加收录 代码
<p><br></p><p>他说能增加收录，是真的吗</p>
995
浏览
此网站robots协议具体该屏蔽哪些？ Robots
此网站robots协议具体该屏蔽哪些？
2157
浏览
同一网站绑定两个域名，一个做seo，一个做sem Robots SEM
网站准备做sem，必须使用代理商提供域名，且不能做301。这种情况下，我打算让网站绑定两个域名，一个我们自己的域名，一个代理商域名。自己域名正常做优化，代理商域名用robots屏蔽掉，这样操作可以吗？会影响到seo吗？……
1260
浏览
1339
浏览
百度站长工具查询优化建议，显示robots.txt规范搜索引擎蜘蛛只抓取指定的内容，显示不存在，这是什么情况啊 Robots 站长工具
百度站长工具查询优化建议，显示robots.txt规范搜索引擎蜘蛛只抓取指定的内容，显示不存在，这是什么情况啊……
1237
浏览
新站robots.屏蔽后为什么还是被抓取收录？ Robots
新站robots.屏蔽后为什么还是被抓取收录？
1345
浏览
百度站在平台robot验证显示服务器配置有误是怎么回事？ Robots 浏览器
<p>如下图，有遇到过的大佬吗。 我robots.txt用浏览器可以正常访问的呀</p><p><br></p>……
1465
浏览
网站只收录首页和新闻页，是什么原因？ Robots 网站建设 根目录 文章
由于是新网站所以搜索引擎都有一个初审期，也就是搜索引擎对于一个新网站的判断期;以前百度算法没有更新的时候，一般对于新站的初审期一般都是1个月左右。而现在只要有规律的文章更新没有太多的采集文章，这个时间大概也就1-2个星期;记住!新站一定不要……
1430
浏览
网站的robots.txt修改频繁会被降权吗？ Robots
之前在网上看过说robots文件修改频繁容易被降权不知道是不是真的，请各位大牛们帮忙分析下……
7096
浏览
搜狗和360搜索排名怎么做的？没有被抓取 Robots 搜狗 排名
提交了搜狗和360的站长工具，但搜狗每天只抓robots.txt和一些图片，360基本不来。大家都怎么做搜狗排名呢？www.bz211.com……
2075
浏览
老生常谈的新网站上线后收录时间问题！？ 推荐热议 Robots 老域名 文章
<p>首先，新网站链接：www.lyql.com，建材施工行业的（有想换友链的可以联系）</p><p>上线刚三天（从robots开放算起），之前的网站整合设计期一直robots屏蔽引擎，前天刚把robot……
1894
浏览
网站seo——百度会读取nofolltow的内容吗？ Robots Nofollow
我网站有一个重复链接有很多（首页有180多个），已经出发了重复链接过多导致降权了。不过这个标签也有作用，不好全部去掉，那么我在这里加nofolllow标签不传递权重可以吗？robots那个不行，那个网址是个很重要的链接，不能屏蔽。要是一个一……
1555
浏览
百度搜索引擎的蜘蛛总是直接抓取老网站（已下线），而很少光顾新网站 Robots 老网站 文章
大家好，我司网址是www.bbtroom.com。百度搜索引擎的蜘蛛总是直接抓取老网站（已下线），而很少光顾新网站网站10月改版（因为之前网站结构不利于收录而改版新网站的），老网站已下线，源程序放在C:\inetpub\wwwroot\ap……
1237
浏览
robots屏蔽网站，解除屏蔽后仍然不抓取网址？ Robots
robots屏蔽网站，解除屏蔽后仍然不抓取网址？
1084
浏览
Robots反馈服务器配置有误，大神帮答疑？ Robots
您的服务器配置有误百度暂时无法连接您的服务器，请检查服务器的设置，确保您网站的服务器能被正常访问。错误码：301 但是一切正常……
923
浏览
网站程序更改，robots如何屏蔽网址和文件？ Robots 网站程序
网站程序更改，robots如何屏蔽网址和文件？
1159
浏览
sitemap.xml需要使用robots屏蔽百度抓取吗？ Robots Site
sitemap.xml需要使用robots屏蔽百度抓取吗？
1303
浏览
1206
浏览
哪位大佬帮我看看 我这个网站的robots该如何设置？ Robots
哪位大佬帮我看看 我这个网站的robots该如何设置？ https://www.bbnep.cn/
