450
浏览
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？ Robots Nofollow
网站屏蔽动态url，robots文件中已经写了，是否还需要nofollow？？
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
449
浏览
449
浏览
449
浏览
Sitemaph 和 Robots 都为0，这对优化的影响大不大？ Robots Site
Sitemaph 和 Robots 都为0，这对优化的影响大不大？
448
浏览
关于robots文件屏蔽链接的写法，帮忙看看 Robots
请问大家，这样是不让蜘蛛抓取DEF文件夹内容，ABC文件夹不受影响。对吧User-agent: *Disallow: /ABC/DEF/……
448
浏览
网站url动态改版为静态形式，怎么处理，尽量减少影响？ Robots 伪静态 静态
一个站之前一年用的是动态路径，现在想换成静态路径，我要设置好了伪静态就robots屏蔽呢，还是等收录了一些静态页面在屏蔽呢？……
447
浏览
网站建设中，禁止robots全站抓取一个月多会有影响吗 Robots 网站建设
网站还在建设中，禁止robots全站抓取一个月多会有影响吗User-agent: *Disallow: /
447
浏览
网站大量页面删除，已经使用robots.txt文件屏蔽，还需要提交死链接吗？ Robots 死链接 文章
网站内容更换，删除大量文章页面使用robots屏蔽共同栏目页，这些页面还需要去资源平台提交死链吗？……
446
浏览
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有 Robots
请问大家，公司优化一直发布这些公司相关的新闻，感觉对优化的关键词一点帮助没有，我想写robots的话应该怎么个写法https://www.walltechsystem。Cn/news/qiyexinwen……
446
浏览
445
浏览
robots.txt文件写法规则是怎么的？ Robots
robots.txt文件写法规则是怎么的？其中写了Disallow:/*_gaoqi/意思是Disallow:/123_gaoqi/Disallow:/eee_gaoqi/Disallow:/9e9_gaoqi/这种类型的都拒绝蜘蛛抓取吗？……
445
浏览
到底哪些是不想被抓取的页面，都有哪些呢？ Robots 索引
robots屏蔽问题我一直不解，可能是因为我不会设置robots.txt文件的原因。其他人都说可以用robots去屏蔽不想被搜索引擎抓取的页面，但我很迷糊，到底哪些是不想被抓取的页面，都有哪些呢？求告知，我也希望自己能够提升这块的操作能力。……
445
浏览
robots.txt文件怎么写比较好，请大神分享一下 Robots
robots.txt文件怎么写比较好，请大神分享一下，http://www.puai999.com/
443
浏览
新网站怎样才能快速上排名呢？ Robots 排名 静态
怎么才能让新站快速有排名呢？（1）什么是新站：新站是上线时间段，没有排名或者排名比较浮动的网站。按照网站的时间来定上线1个月--6个月都是新站期，新站期是不稳定的，是百度对网站的考核期。（2）新站排名难的原因无非是以下这些点：新站内容比较少……
442
浏览
网站被黑后，进行Robots屏蔽时链接是否要区分大小写？ Robots 网站被黑
网站被黑后,进行Robots屏蔽时链接是否要区分大小写？
442
浏览
439
浏览
以自动刷新方式更改内容页时间因子算不算作弊？ Robots 排名 文章
<p>某网站的内容页时间因子没有固定在发布日期，而是每被访问一次就自动刷新到当前时间，这样算不算作弊？还是这样有利于优化排名？</p><p><br></p><p>案例：……
439
浏览
网站死链的正确处理方法 Robots 404 排名 索引
在各位站长运营网站的过程中，一定会遇到死链的情况，那么大家都是怎么处理死链的呢？在SEO优化中，死链如何进行正确处理呢？1、收集死链前面所做的网站死链查检工作，都是为这一步做准备，那些网站死链要如何处理呢？通过网站死链检测工具（网页版在线检……
438
浏览
网站被挂马，重新做的新站，但是老站的乱码收录一直在，写了一个Robots禁止一下，不知道能不能起作用 Robots 网站被挂马 乱码
<p><br></p><p># robots.txt generated at https://www.hyhrc.com/ <br>User-agent: *<br>……
437
浏览
我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能 Robots
<p> 我的网站https就检测不到robots文件，而http就能检测到，请问要怎么设置能让https也能</p><p></p>……
434
浏览
433
浏览
谷歌搜索网站名称显示没有此网页信息，按谷歌教程说有可能被robots屏蔽？ Robots
<p>谷歌搜索网站名称显示没有此网页信息。</p><p><br>然后按谷歌教程查找原因，说有可能被robots屏蔽了，下面是我网站的robots文件截图，请教大家是不是被robots文件屏蔽了……
433
浏览
昨晚robots允许抓取，第二天早上改了下标题，有影响吗？ Robots
昨晚robots允许抓取，第二天早上改了下标题，有影响吗？
433
浏览
【教程】如何及时拦截垃圾爬虫和蜘蛛。别在用robots了 Robots
教程比较长 直接去看就好。教程地址： https://www.cangpan.com/432p1/
432
浏览
谁帮我分析下这个robots文件设置的有问题吗？ Robots 索引
<p></p><p>我的这个robots文件设置的有问题吗？蜘蛛一直不来抓取，语句没有禁止搜索引擎抓取吧？</p>……
432
浏览
网站改版，出现大量的死链，已经影响到网站的质量，该如何快速有效的处理大量死链 Robots 网站改版
目前每天都在站长后台提交，感觉效果微乎其微。在robots文件里面，disallow所有的死链能解决不……
432
浏览
网站首页总间隔一段时间就收录消失，是什么情况？ Robots 友情链接 排名
站首页收录总是隔段时间就消失一回，并没有做改动，也符合搜索算法内容,robots.txt检查没问题，服务器稳定，全站排名稳定，友情链接没问题，只有首页隔段时间就不收录了。。请问，这样是什么原因呢？……
432
浏览
请教一个社交站点SEO优化及url设置问题 Robots 同IP SEO优化 索引
主站商城A，在做个网站B，B仅做目录页面，将目录页中的产品链接到相应A中的产品页面。社交网站中一个账号只能一个域名，现在注册10个不同的域名，分别做301，这样社交中的链接点击后先到B，客户再点击产品后导到主站A。如果A和B放在同一服务器下……
429
浏览
百度一直抓取已经删除的链接，如何减少抓取这样的链接？ Robots 网站内链 404 索引
百度一直抓取已经删除的链接，抓取404链接的占比已经是200链接的好几倍了，如何减少抓取这样的链接？在网站内链和网站地图已经剔除了这些链接，只有百度在疯狂的抓取，其它搜索引擎都不会大量抓取已经删除的链接。由于url规则因素无法通过robot……
429
浏览
robots文件已经更新一个月了，新禁止的文件还在抓取状态？ Robots
为什么我网站上的robots文件已经更新一个月了，新禁止的文件还在抓取状态？
429
浏览
用公司的老域名建网站都两个月了还是只收录首页而已，其他搜索引擎都很正常！ Robots Site Sitemap 索引
<p>开始以为是robots问题所以把权限都开了，还特意写上允许SITEMAP文件抓取，但是奇怪的是用推送工具推送只能推送首页如图<br>还有一个问题就是sitemap更新不正常等了几天了还是这样的情况，更新过也没有……
428
浏览
Robots1处错误是什么意思？ Robots
<p></p>
425
浏览
robots文件禁止抓取，解禁后多久可以恢复抓取？ Robots
robots文件禁止抓取，解禁后多久可以恢复抓取？
425
浏览
424
浏览
424
浏览
我的这个robots文件设置的有问题吗？ Robots 索引
<p>我的这个robots文件设置的有问题吗？</p><p>蜘蛛一直不来抓取，语句没有禁止搜索引擎抓取吧？</p><p></p>……
423
浏览
robots了整个网站，怎么才能把首页也从结果页中删除？ Robots 淘宝
<p>像淘宝一样，我网站现在也是这样的情况，怎么样把这个结果删除掉直接就删除掉不显示</p><p><br></p>……
