Robots

Robots

中文称:爬虫协议。简单说,robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容,一方面可以保护用户隐私数据,另一方面也可以通过此协议控制爬虫抓取范围,从事减少网站带宽。
相关话题
夫唯
话题优秀回答者
1305 问题
3225 浏览

死链删除后处理的办法 推荐热议 Robots 404页面 站长工具 404

网站前几个月被挂了大量的bo彩页面,现在已经整理并提交了百度站长工具的死链提交里面,但是为什么已经提交并且提示已删除,蜘蛛好像还在抓取呢?现在弄得每天蜘蛛抓取1500次 有1200次是404页面,这种情况怎么处理呢? robots也不……

79 浏览

Baiduspider抓取网站临时域名,SEO优化规范该如何做? Robots 网站日志 网站运营 SEO优化

在日常网站运营中,观察网站日志经常看见百度蜘蛛抓取网站主机地址为“默认绑定网站主机的临时域名”,在状态301或200下返回正常解析URL链接!问题:多数状态301的抓取下,是否引起搜索引擎蜘蛛的信赖感;应该用什么样的方式避免这种问题,rob……

38 浏览

关于robots代码问题 Robots 代码

想要禁止蜘蛛抓取/user下的所有页面 不知道这样写是否正确呢但是提交给百度总是提示请求失败……

155 浏览

新站上线之前需要做哪些优化? Robots 404页面 404 SEO优化

总结一下:目前做的优化 一、 网站地图添加二、robots 添加,三、404页面设置四、三大标签已设置五、百度站长提交【百度统计没装】问: 还需要做哪些优化呢,站点:成都seo优化:www.tusijm.cn……

87 浏览

DZ论坛屏蔽动态链接可以吗? Robots PHP 文章 静态

我的网站一个文章收录了俩。。一个是动态的,一个是伪静态。可以把动态链接用robots屏蔽吗?具体应该是 Disallow: /   /forum.php?mod=viewthread&tid=*  这样可以把?这是动态的,我设置伪静……

121 浏览

怎么回事啊?网站老域名重新改版后1个月只收录首页(百度、360都不收录) Robots 老域名 文章

9月份的时候打算建立一个网站,看了看手里的域名,有一个15年的老域名,因为网站主题和域名相匹配就拿过来用了。9月5号网站重新改版上线了,网站服务器放在linode日本服务器,网站地图、robots.txt、关键词、导航之类都已经建立完善。每……

443 浏览

网站被篡改后,批量生成了很多首页快债 Robots 动态链接

网站前段时间被挂链接了,篡改页面了,持续了几天才完全清除,但是首页生成了很多动态链接 类似https://XXX.cn/?id=rqswv,robots也屏蔽了动态链接,内页也更正了,但就是这些首页动态的快照一直删除不掉有没有小伙伴有心得可……

73 浏览

sitemap.xml抓取失败,怎么解决,求帮助 Robots Site DNS

其他的一切正常,robots 也没做什么限制,抓取测试pc和手机都是正常的,但是一直就这个网站的sitemap.xml抓取失败,dns解析ip那里是我以前一个服务器,这个很早就没有用这ip了,这个情况有很久了   这个需要怎么解决呢 ……

428 浏览

买的老域名已收录2W多页面,怎么提交死链? Robots Site 老域名

买的老域名已收录2W多页面,怎么提交死链?收录的都是动态URL,百度站长后台也不提供通配符提交。百度 site:采集也只能采集到700多条链接,后面的就不是展现。robots文件也屏蔽了,百度不管,还是去抓取……