Robots

百度蜘蛛为什么大量抓取网站的图片 Robots 网站日志

百度蜘蛛为什么大量抓取网站的图片？查看网站日志发现几乎蜘蛛抓取的百分之95都是网站的图片，为什么，是不是需要robots禁止一下抓取图片……

各位师兄。robots怎么设置？ Robots

网站robots怎么写了 Robots

<p><br></p><p>www.3sjtw.com   www.aiidol.com    www.nanry.com  三个网站的robots.txt都是这个问题，该怎么搞啊</p……

Robots自动修改是怎么回事 推荐热议 Robots

通常我设置的是允许所有搜索引擎抓取，可是过半个月就会自动变成禁止所有搜索引擎抓取，已经自动修改2回了，这个网站我接手一个月就两会了，谁知道怎么回事，请教各位大佬了。……

网站收录了很多 搜索页抓取的， 怎么删除这些，robots.txt怎么屏蔽搜索页 Robots

<p><br></p>

请求失败，我们已记录此问题并将尽快处理，请刷新页面或稍后再试。 Robots

我是个小白，问个特别基础的问题，还请指教。robots.txt这个文件怎么使用，做了一个robots.txt已经上传到空间，还用在百度搜索资源平台 - 数据监控 - Robots中检测并更新吗？点击检测并更新提示：请求失败，我们已记录此问题……

网站原来是动态的URL，2个月前做了伪静态，网站落地页也改版了。但是只收录了首页，site出来的，还有原来的动态页面收录，就是没有改版的伪静态内页收录。 Robots 伪静态 Site

网站原来是动态的URL，2个月前做了伪静态，网站落地页也改版了。但是只收录了首页，site出来的，还有原来的动态页面收录，就是没有改版的伪静态内页收录。写了robots屏蔽动态URL，还是没有用。没有做301，前一段时间日志分析，伪静态的U……

robots文件怎么写？ Robots

那个，谁能帮帮忙写个robots?

重复的标题标记和元说明怎么解决？可以修改robots.txt吗？ Robots

<p>重复的标题标记和元说明怎么解决？可以修改robots.txt吗？</p><p>网址已经上线一年多了，现在修改robot.txt， 会不会遭google 惩罚？</p><p>如……

把robots.txt文件里的网站地图链接换成别人网站的地图链接百度抓取吗 Robots Site Sitemap

把robots.txt文件里的网站地图链接换成别人网站的地图链接百度抓取吗 ，比如这个网站地图Sitemap: http://www.99ruanjian.wang/sitemap.xml我把他放在其他网站robots.txt文件里，这样算……

robots，写在首页不是不怎么安全吗？ Robots 导出链接

robots，写在文件夹文件有效果吗？我感觉这个更像是导出链接，怎么办？

谁会做robots? Robots

http://www.ayztsj.com

网站没有做robots文件是不是排名就不会好呀？ Robots 搜狗 排名

我的网站没这个文件，看日志里，尤其是搜狗简直无视robots的存在。

我这Robots.txt写的应该是没有问题的，为何百度快照却抓取不到？ Robots 百度快照

<p>网站（www.goldenll.com）的Robots.txt没有禁止首页的抓取，为什么百度却抓不到？内页也一直没有收录。</p><p><br></p><p>&l……

为什么搜狗只来抓取robots文件，不去抓取首页或其它网页呢？ Robots 搜狗

为什么搜狗只来抓取robots文件，不去抓取首页或其它网页呢？www.shenbing123.com 求教如何让搜狗快速收录首页和其它网页呢？ ……

在robots中写了Disallow后，依旧被爬是什么原因呢？ Robots 404

<p>我半年前在robots中就写入了Disallow: /a</p><p>但是今天我看2019年7月24日 日志中，依旧有很多/a下的地址被爬了，而且还返回404，这是怎么回事？</p>&l……

谷歌：网址已提交，但存在抓取错误，这是什么原因？ 推荐热议 Robots

<p>如图，最近网站总是出现“网址已提交，但存在抓取错误”的问题，数目在不断增加。这个网址是可以正常打开的，robots也没有问题。</p><p><br></p><p>……

小白请教一下问题，下面的抓取乱码如何在robots.txt里填写禁止抓取代码 Robots 乱码 代码

<p><br></p>

新网站一个月的比较好成效，求大佬给点宝贵的建议 Robots 站长平台 熊掌号 排名

<p><br></p><p>1月买的域名</p><p>5月才是建站（禁止了抓取，但是还是抓取了，而且有些关键词还有排名）</p><p>6月11号……

新站一周都没收录 感觉也是废了？ Robots

百度https 也认证了， robots也加了。

网站采集内容做聚合页面robots怎么写？ Robots 聚合

各位大佬有做过，解释一下谢谢大佬了。

大佬们，为什么写了robots还是不能禁止蜘蛛抓取？ Robots

网站100个页面生成200多个链接。一半多都是重复的。我要怎么才能禁止蜘蛛抓取重复的？我想把重复链接写到robots里面，但是写了蜘蛛照样来抓，大佬们，这个robots应该怎么写才行啊？……

robots把/images/文件屏蔽了，那么文章中上传的图片在ALT标签和title标签中添加关键词还有意义吗？图片超链接是否只起到跳转的作用了？ Robots ALT标签

什么是robots文件？ Robots

网站里面robots是用来干什么的，主要作用是什么...

应该怎么处理网站以前的采集文 Robots 内容修改

在下刚入行新手，有个问题想请教各位大佬。 我接收了一个没优化过得网站，网站里被以前的人写了好多采集文章，甚至有的一篇文章只有一句话，感觉这种情况对优化很不好，想要删除了自己再增加原创文章。但是这些文章地址例如：http://www.aika……

提示：在静态页面上使用动态参数，会造成spider多次和重复抓取，怎么处理？ Robots 优化建议

这个网站，www.nbjingdu.com 优化建议里面提示在静态页面上使用动态参数，会造成spider多次和重复抓取，我把提示的这几条网址写在robots文件里面禁止抓取有用吗？……

robots.txt禁止index.php文件是对的吗？ Robots PHP

禁止抓取index，是禁对了？多谢回答。

网站重新改版，收录慢，我们来骂骂百度好不好 Robots JS 熊掌号 内容

www.58fmjs.com才接手的网站，10天了吧，把以前收录的20几个页面用robots屏蔽了（内容不在一个服务器），重新建站加填充内页，基本上是完善了，熊掌号也弄了，每天也用api推送，就是不收录，好嗨哟，感觉人生已经到达了巅峰。……

robots.txt协议拿掉之后，百度site之后的结果还是限制被robots.txt禁止抓取 Robots Site

网站改版的时候加了robots.txt协议，禁止所有蜘蛛住区，但是现在放开之后，百度site之后的结果还是限制被robots.txt禁止抓取。是什么原因？网络营销培训视频课程学习http://www.jiangcaikj.com……

robots.txt文件放网站地图利于优化？但是我放进去怎么没用？ 推荐热议 Robots

<p><br></p><p><br></p><p>放进来无效呢？？？？咋回事啊</p>

百度近期算法调整，“未能抓取成功”不收录怎么办？ 软文 Robots 站群 CDN

毫无疑问，自熊掌号上线以来，百度算法我们几乎认为每天都在调整，从“号”变“ID”虽然，战略层面的因素更多，但相关的搜索权益也在悄然变更。从目前来看，对于网站运营人员而言，如果你配置了熊掌ID，那么，近期，我们面临最多的一件事情就是：“未能抓……

我的网站robots.txt有问题吗？ Robots Site APP PHP

# # robots.txt for Discuz! X3 # User-agent: * Disallow: /api/ Disallow: /data/ Disallow: /source/ Disallow: /install/ D……

新网站上线几天了，查看网站日志，蜘蛛都没抓取过这怎么办？ Robots 网站日志 内容

我们是网站已经上线了，但是内容需要修改，就robots里设置了禁止抓取，5天前删除了禁止抓取，到现在网站上线5天了，查看了下网站日志，蜘蛛都没抓取过这怎么办？有遇见同类问题的吗？求指点？这是我的网站www.ssslwsxx.cn/ 还请大佬……

搜狗搜索站长平台网站验证出现“网站无法访问，请检查湾站配置”是什么情况啊，有哪位大神知道如何解决 Robots 搜狗 站长平台 网站验证

<p><br></p><p>网站的robots是正常的，也没有ip白名单</p>

网站 robots是禁止抓取？ Robots

我以前有个站，建站期间robots禁止了所有抓取，百度还把我首页收录了。

robots中sitemap.xml 这个需要禁止吗？ Robots Site

就是在robots中文件中需要加上Sitemap: https://www.awind.com.cn/sitemap.xml吗？

robots禁止抓取整个变量的Disallow: /202/*/*/，还是把每个变量单独罗列出来？ Robots

Disallow: /202/*/*/第一个*是变量；第二个*也是变量，我的目的第二个*下不管怎么变都不被抓，但第一个*不影响。这样写可以吗?还是需要把每个变量项目单独列出来，像下面这样写？Disallow: /202/*/l*/Disal……

头条蜘蛛是否会遵守现有的robots协议？ Robots

各位大佬大侠求解答一下！

robots文件是否需要禁止图片文件夹和css js文件 Robots 增加收录 JS

日志查询到蜘蛛大量访问图片和css等文件，禁止了的话能让蜘蛛有时间抓取其他更多页面增加收录吗……

robots有问题吗？ Robots

<p><br></p>