389
浏览
老站蜘蛛从来不爬去内页,求大神帮看robots是否设置有误？ 推荐热议 CMS Robots 备案
易优的CMS，老域名建的站且已经一年半了，首页蜘蛛每天来很多次，百度收录了三四百条（首页及栏目页面），移动权重2，但蜘蛛日志显示百度蜘蛛从不爬取内页，首页来的多，会爬栏目页面，但内页不爬去也不收录。未备案。以下为robots：……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
38
浏览
53
浏览
大家帮我看看我的robots.txt有没有问题 Robots Site Sitemap
大家帮我看看我的robots.txt有没有问题User-agent: *Disallow:Sitemap: https://www.sclmbh.com/sitemaps.txtUser-agent: MJ12botDisallow: /……
47
浏览
59
浏览
网站robots.txt一般禁止蜘蛛抓取哪些内容 Robots JS
正常的网站robots.txt你们一般禁止蜘蛛抓取哪些内容，js、css还有补充的吗
488
浏览
提一个百度收录很理想而搜狗收录和索引均少的问题 诚心等解答 推荐热议 Robots 搜狗 文章
提一个百度收录很理想而搜狗收录和索引均少的问题。我们是企业官网，属于建材行业的陶瓷砖企业，网站名称是“玛布里瓷砖”，建设到现在超6年，一直以来所有搜索引擎的收录、索引数据都挺好看的，但去年初开始，独独是搜狗之一块，收录不稳定了，索引也快掉光……
88
浏览
使用光年日志分析系统理解与疑问 推荐热议 Robots Site 代码 索引
1，在概要分析中；访问次数指的是分析日志文件数据内时间段 引擎蜘蛛访问网站的次数吗？总抓取量则是该时间段引擎蜘蛛爬取网站页面链接的数量？那么，我在robots.txt设置了sitemap.txt 文件代码，sitemap.txt 文件里提交……
180
浏览
网站建二级域名与主域名指向同一个程序，主域名会被分掉权重吗 Robots 二级域名 竞价
如题，为了区分竞价来的线索和自然流量线索，我想将网站建一个二级域名，新建的二级域名与主域名都指向同一个网站，然后在robots中设置disallow禁止蜘蛛抓取这个二级域名，这个新建出来的二级域名会影响主域名的权重吗？……
61
浏览
百度统计检测不到robots是怎么回事 Robots 百度统计 阿里云
我们网站现在服务器搬到阿里云上了 这两天抓取时间都变成了0，后来打开robots也没问题，统计后台缺检测不到服务器是嘛情况……
101
浏览
您的robots文件设置了重定向跳转，暂时无法查看 Robots 跳转
更新robots时，出现这个问题，但是我在网站上打开对应的robots，却能够打开，没毛病，检测http状态，返回的也是200，……
69
浏览
网站参数空白页面总是被蜘蛛抓取怎么办 Robots PHP
网站参数空白页面总是被蜘蛛抓取，也写了robots了，但还是有蜘蛛挺多抓取这些空白参数页面（返回码200）好像当成了首页（也可能是假蜘蛛），怎么解决？/index.php?m=Home&c=Api&a=getstore……
108
浏览
网站管理后台路径要不要写进robots.txt？ Robots
网站后台路径要不要写进robots.txt？不写进去，搜索乱爬，写进去，等于公之于众。
815
浏览
百度站长自动推送如同摆设（有偿寻解决方法） Robots 网站日志 百度蜘蛛
每天不停给百度主动推送链接，可网站日志一直没有百度蜘蛛的爬行记录，网站robots并没屏蔽百度，网上找搜索答案都是什么质量低，不想怼这些人，连蜘蛛的爬行数据都没，何来质量低；有没有哪位兄台能解决这个问题。……
164
浏览
请教下ROBOTS的问题 Robots
刚刚更新了一下robots 加了 Disallow: /product/e23那这个生效后，这四条链接是不是就都不抓取了呢？……
169
浏览
如何屏蔽已经收录的页面 Robots
想在robots里面屏蔽 plug/comment/?id=59 plug/comment/?id=80 plug/comment/?id=81 这种类似的页面怎么写规则……
200
浏览
独立移动端网站有必要设置robots吗 Robots 移动端
pc是www.的 ，移动端是m.的,请问m站有必要弄robots文件吗？
85
浏览
水务集团的官方网站，突然就掉了，而且还做了官方认证的。@推推娃 Robots
http://www.cncqsw.com/看着像robots的问题，
111
浏览
网站屏蔽url，只能用robots文件么？ Robots
有没有其他的方法不允许蜘蛛抓取我的一些url?
158
浏览
如何禁止搜索引擎访问/收录某个页面 Robots Nofollow 索引
网站有几个页面由于重复度太高不想让搜索引擎收录和访问，有什么有效的办法，除了robots和nofollow，还有其他好的办法吗……
123
浏览
robots.txt是这个问题导致不收录的吗？ Robots
robots.txt是这个问题导致不收录的吗？@推推蛙 你帮我看看这个休学申请书怎么写www.1xiuxue.com已经一年没有收录了，帮我看看是否是robots.txt写错了？……
95
浏览
关于robots的骚操作带来一个血的教训 Robots 百度知道
前几日发现很多国外的垃圾蜘蛛，还有bing msn等等这些蜘蛛来我网站特别的多，所以就想着把垃圾蜘蛛给屏蔽掉，User-agent：AhrefsbotDisallow: /但他娘的一时不慎，把这行复制在了robots文件的最后面，放上去后忘……
92
浏览
94
浏览
104
浏览
死链提交失败，找不到原因，求大神指点一下 Robots Site Sitemap 根目录
是放在根目录下，跟robots，sitemap同一级
110
浏览
大佬帮忙看看，网站的robots文件，是不是有错误？ Robots
如题，总感觉网站robots文件抒写不对www.lanjingcs.com
106
浏览
网站改版做的robots禁止收录 收录掉光取消后什么时候能恢复啊 Robots 网站改版
www.vpanetwork.com 网站改版做的robotos全站禁止收录，收录一直掉现在取消了请问什么时候可以恢复啊……
80
浏览
robots文件屏蔽一些页面抓取怎么写？ Robots 百度蜘蛛
https://www.fanyuancloud.com/articles/189https://www.fanyuancloud.com/articles/190https://www.fanyuancloud.com/articles/……
244
浏览
145
浏览
110
浏览
网站地图的txt格式放robots里有用吗？ Robots
网站地图的txt格式放robots里有用吗？
148
浏览
查看网站的robots文件显示404是怎么回事~应该怎么处理 Robots 404
查看网站的robots文件显示404是怎么回事~应该怎么处理
136
浏览
85
浏览
网站后台文件需要限制蜘蛛抓取吗 Robots
每天查看日志发现抓取了很多后台文件，有的文件还是死链 需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？……
84
浏览
网站tag目录下死链太多怎么办？能直接禁止抓取吗 Robots
网站tag目录下死链太多怎么办？能直接禁止抓取吗tag插件已经卸载，不打算要tag目录了，可以使用 robots.txt 禁止收录 tag目录吗？……
