谁能解读一下这串代码是禁止抓取哪些网页？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

嘵沉 · 365微信编辑器-———————————————————————————这里————————————————————

云玩家等 1 人赞同该回答

1-3行：注释；

第4行：允许所有页面被抓取；

4-6行：禁止搜索引擎抓取的页面

7-8行：禁止搜索引擎爬行data文件夹，允许搜索引擎抓取data文件夹下的upload文件夹里的页面；

9-10行：禁止搜索引擎爬行的页面。

第11行：禁止搜索引擎爬行首页api*(*代表0-n个任意字符)

Answer 2

关山

所有该文件目录下的网页

Answer 3

三郎 · 南京车位涂鸦

allow可以允许抓取disallow下的文件，第7和第8不冲突

Answer 4

ζCóng · seo优化,电脑方面

第7和第8 是不是冲突，按照我的理解第8行应该是没用先执行屏蔽data 然后你又让他去抓data下的upload，这执行不过去吧。

Answer 5

为什么要屏蔽让他抓就是抓取的越多不越好

Answer 6

Kk：( · 大哥大姐行行好给点ip吧------→→→→→→

user-agent=*意思允许所有搜索引擎蜘蛛爬取

disallow:/文件名意思不允许蜘蛛爬取该文件下内容

allow:/文件名意思允许蜘蛛爬取该文件下内容然后你自己对应着看吧

Answer 7

疯狂石头

据说叫搜索引擎协议

Answer 8

疯猴子

据说叫搜索引擎协议

Answer 9

行星减速机 · 行星减速机品牌厂家

这个不太会看，据说叫搜索引擎协议

收录宝