Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。
相关话题
夫唯
话题优秀回答者
1215 问题
270 浏览

网站上线2个月不收录,10年老站长第一次遇到,有哪位高手来分析分析? Robots Site Sitemap 代码

网站上线2个多月,目前一个页面都不收录,十年的老站长还是第一次遇到,内容基本是原创的,robots没问题,sitemap什么的都正常提交,代码也检查过几遍,站长平台反馈什么回应都没有,网站名称:必经地旅游网,网址:www.bijingdi.……

460 浏览

今天面试了一个5年经验的SEO Robots 聚合 仿站 黑帽

天面试了一个5年经验的SEO,发现做SEO普遍都是从其他不相关的行业转过来的,他是在某个培训机构培训了4个月出来工作的,在培训的时候做过几个网站,然后就出来工作了,出来后自己就没有单独做过网站了,只是有5年的工作经验。他的工作内容基本上是分……

150 浏览

今天面试了一个5年经验的SEO Robots 聚合 仿站 黑帽

今天面试了一个5年经验的SEO,发现做SEO普遍都是从其他不相关的行业转过来的,他是在某个培训机构培训了4个月出来工作的,在培训的时候做过几个网站,然后就出来工作了,出来后自己就没有单独做过网站了,只是有5年的工作经验。他的工作内容基本上是……

83 浏览

上线大半个月了,搜品牌词都搜不到 Robots

http://www.zhichaofadianji.com/,网站蜘蛛不爬,搜品牌词找不到,绑定开始有一个半月时间,一开始robots屏蔽了,后面解开的,求大佬们帮忙看下……

85 浏览

自学用模板做的网站十二天了还没被收录,是什么原因? Robots 代码

几个月以前在网上下了一套免费的模板,然后自己用dreamweaver对每个页面进行了修改,也修改了内容,该删的都删了,做好了之后就到搜索引擎提交了链接,可是几个月一直都没有被收录,蜘蛛来都没来,现在我又用另外一套源码重新做了一个网站,主要是……

135 浏览

网站权重计算因子浅析 Robots SEOer Site JS

网站权重有点老生常谈了,所以只敢写个浅析,seoer最关心的是权重,操作最频繁却是天天更新文章,换友链,发外链,为什么要重复这些搬砖的过程?发表点不一样的看法和浅薄的经验,望大家指正。一、什么是网站权重|| 引用下百科解释:权重是指某一因素……

402 浏览

网站首页被K,百度降权了,大家帮我看看可能是什么原因? 网站被k Robots 首页被K 文章

网址:www.chinazz.org.cn说明:12.19日开始掉词,发现robots被修改为屏蔽所有抓取,赶快改回来了,之后就一直掉;在排查原因,可能性:1、近期采集政府公告文章;2、标签添加大量关键词,过度友好;3、以前添加的有些外链网……

397 浏览

robots通配符问题 推荐热议 Robots 网站被挂马 PHP

因网站被挂马,BD抓取了一大批恶意页面,恶意页面链接地址如下:www.xxx.com/snews.php/snews.php?9VQmi=282451www.xxx.com/snews.php/snews.php?F7NEL=355704w……

88 浏览

robots怎么写? Robots

robots不写可以吗?还有就是robots里能添加网站地图吗?

356 浏览

网站tag标签放了主关键词,是不是会影响首页的主关键词排名? Robots Tag标签 排名

网站核心词老师在第二三页不动,很不稳定,有时候到首页百度已更新又没了甚至找不到,是不是因为tag标签里放了主关键词导致的权重分散了呀,要不要删除还是robots屏蔽了呢,主关键词:cpa联盟,cpa广告联盟,广告联盟,网站:http://w……

207 浏览

分享几个seo冷门干货 Robots 视频 备案 排名

1、备案不用关站,写代码设置百度ua访问时正常,直接打开时是关闭状态即可。2、robots.txt能告诉百度网站地图位置,可以看下好看视频的https://haokan.baidu.com/robots.txt3、模板伪原创,新站老站模板伪……

221 浏览

网站目前的怎么做?对于2020年网站优化的建议及感慨 Robots 网站改版 备案 文章

很多朋友给王听风抱怨说网站最近开始出现不收录的状态了,抓取也有啊,后台蜘蛛也在访问这种情况应该如何办?许多问题都是这样的,不收录,没有词库,甚至在降权。建议针对目前时间:2020/12/9第一:网站的领域不要说你做SEO博客的网站还去做养生……

105 浏览

想问下取消禁止抓取需要多久生效 Robots 网站日志

我之前网站没弄好的时候在robots.txt加了Disallow:/禁止搜索引擎抓取。网站做好之后就取消了。但是现在都过去一个月了为什么还没收录啊。是不是取消得过一段时间才能生效。网站都做好一个多月了。百度一次也没来抓取。看了网站日志,其他……

233 浏览

pc和手机的url不一致,把手机的url目录robots屏蔽了影响排名吗 Robots 排名

织梦的网站,网站一直以为是自适应的,后面发现收录的好多是手机页面,才一看url是/m的动态地址,但是一种用的一个后台同步更新的,不想被收录/m的动态url,只想收录pc的伪静态url,用robots屏蔽了/m目录可以吗,会不会影响网站pc和……

359 浏览

新买的域名五十多天了没有任何收录痕迹,查了才知道是老域名,大家给些建议 数据库 Robots 老域名

1买的域名是www.158116.com2因为我是新手 部署网站也是某宝弄的 所以换域名的话可能又要另外花一份钱 所以请大家看看这个结果我是继续优化还是死心换域名3之前这个网址是做棋牌的 360是查到了说不良信息 百度没记录4我查了一些信息……

158 浏览

百度不讲武德,我该如何整站删除百度收录? Robots Site 根目录 404

公司的站点不管是pc还是wap收录都过百万,网站有很多内容已经下架但是百度还依然保留收录快照,为此有一些早已经下架陈年违规内容保留的快照被网监给找到导致公司被罚数万元,领导现在让我解决这个问题,我的做法是先:1、在网站根目录下面添加robo……

221 浏览

关于百度快照的问题 Robots 百度快照

之前提问过这个问题,之所以在问一次,是想让老大哥们看下我这个网站是不是还有不利于百度抓取的东西,robots的限制指令已经修改了一个月了,百度反馈的回复一直是1-2周出结果,这都第二个两周了。很是捉急。……