搜外网>搜外问答>问答页面

谁能解读一下这串代码是禁止抓取哪些网页？

微信

代码举报 本帖由用户发布，如有侵权联系删除 2019-12-21 发布1,139 次浏览

9 人参与回答

嘵沉 · 365微信编辑器-———————————————————————————这里————————————————————

云玩家等 1 人赞同该回答

1-3行：注释；

第4行：允许所有页面被抓取；

4-6行：禁止搜索引擎抓取的页面

7-8行：禁止搜索引擎爬行data文件夹，允许搜索引擎抓取data文件夹下的upload文件夹里的页面；

9-10行：禁止搜索引擎爬行的页面。

第11行：禁止搜索引擎爬行首页api*(*代表0-n个任意字符)

关山

所有该文件目录下的网页

三郎 · 南京车位涂鸦

allow可以允许抓取disallow下的文件，第7和第8不冲突

ζCóng · seo优化,电脑方面

第7和第8 是不是冲突，按照我的理解第8行应该是没用先执行屏蔽data 然后你又让他去抓data下的upload，这执行不过去吧。

为什么要屏蔽让他抓就是抓取的越多不越好

Kk：( · 大哥大姐行行好给点ip吧------→→→→→→

user-agent=*意思允许所有搜索引擎蜘蛛爬取

disallow:/文件名意思不允许蜘蛛爬取该文件下内容

allow:/文件名意思允许蜘蛛爬取该文件下内容然后你自己对应着看吧

疯狂石头

据说叫搜索引擎协议

疯猴子

据说叫搜索引擎协议

行星减速机 · 行星减速机品牌厂家

这个不太会看，据说叫搜索引擎协议

收录宝