怎么设置通过 robots.txt 允许、禁止搜索引擎收录方法？？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

最新百度索引页面大家的站有啥变化？

网站被降权了怎么恢复正常？

明明是自己写的文章，但原创率就是低怎么办？

网站数据统计，搜索最多的全是垃圾词。有什么方法避免？？

栏目页多久收录

怎么样可以查看网站历史收录最多是多少

网站关键词密度建议多少合适？

网站交换的友链站点被降权了，是否会影响自己的网站？？

网站地图就是一个页面吗?

网站内容很多采集的，导致蜘蛛不来抓取页面怎么处理?

Answer 1

河南振豫律 · 7年前端 seo、振豫律师事务所

我的微信:sec_vip 等 1 人赞同该回答

每条记录均由字段: 值组成l。
User-agent：用于指定指令所作用于的目标抓取工具（网络蜘蛛），后接抓取工具名称；
Disallow：指定不允许抓取的目录或网页，后面为空则表示允许抓取一切页面；
Allow：指定允许抓取的目录或网页；
Sitemap：站点地图的位置，必须是绝对路径；
*：表示通配符；
$：表示网址结束；
/：匹配根目录以及任何下级网址。