关于Robots的讨论共有1325个

636 浏览

搜外用户发布了该问题 · 4 人参与回答 · 4 年前

如果正确的在robots屏蔽不要被抓取的内容? Robots

比如我们一个域名www.abcde.com，我们想把带？号的url全部禁掉，首页我们不要禁掉，怎么弄？……

635 浏览

用户155004 回答了该问题 · 7 人参与回答 · 4 年前

网站后台文件需要限制蜘蛛抓取吗 Robots

每天查看日志发现抓取了很多后台文件，有的文件还是死链需要限制吗？有的文件也添加到robots文件里的，但还是能抓取是什么缘故呢？……

634 浏览

用户191441 发布了该问题 · 暂无人回答 · 5 年前

据说新站写robots文件会对搜索引擎不好，是不是真的 Robots

629 浏览

用户179092 回答了该问题 · 4 人参与回答 · 3 年前

网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？ Robots

网站里的robots文件是不是必须要具备的，看了很多网站都有样的文件存在？

628 浏览

用户140436 回答了该问题 · 6 人参与回答 · 3 年前

网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？ Robots 文章

网站初期因为某些原因robots屏蔽了一些目录和文章，现在解除后多久才会开始收录？

627 浏览

用户134096 回答了该问题 · 4 人参与回答 · 4 年前

robots文件正常访问，检测失败什么原因？ Robots

网站的robots文件是正常的，检测的时候显示：那个大神指导一下什么原因

626 浏览

用户179092 回答了该问题 · 3 人参与回答 · 4 年前

请教如何通过robots文件，屏蔽掉这个规则 Robots

请教如何通过robots文件，屏蔽掉这个规则。。Com/tags-关键词-0.html请给出Disallow: / 的规则。我会通过工具验证，通过后确认送分。……

625 浏览

用户171475 回答了该问题 · 5 人参与回答 · 4 年前

谁帮我剖析下这一robots文件设定的有什么问题吗？ Robots

601 浏览

用户184937 发布了该问题 · 暂无人回答 · 3 年前

robots 如何屏蔽大量死链 Robots

同一个目录中有大量死链，但不能屏蔽这个目录，里面还有内容，robots如何做到屏蔽。可以做个死链合集死链.txt，采用用Disallow: /死链.txt，去屏蔽死链.txt文件里面的死链吗。如果不行，有其他方法吗。……

590 浏览

用户157066 发布了该问题 · 暂无人回答 · 4 年前

请问robots里面的Disallow: /baidu-*/ 是什么意思，对网站有什么影响 Robots

<p></p>

548 浏览

用户161956 发布了该问题 · 暂无人回答 · 4 年前

<meta name="Robots" content="all"> 有必要加在代码里面吗 Robots 代码

Robots