roborts禁止抓取某一个页面怎么写悬赏1元已结束

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

高飞儿

阿姝等 1 人赞同该回答

User-agent:  Disallow:链接相对地址 如： User-agent: Disallow:/xx/> 可以参照搜外问答的Robots写法:

Answer 2

一只拖鞋

可以参考各大网站的Robots文件是怎么写的，Disallow是禁止抓取的意思，在你的robots文件中加一条Disallow:/xx/xx/.html就可以了

Answer 3

一休哥

可以在源代码中加入Nofollow

Answer 4

秋殇

User-Agent: * 禁止所有搜索引擎蜘蛛抓取。

Disallow: /xx/ 禁止抓取某个目录下的文件

Allow: 允许抓取某个目录文件，一般禁止上面写上了，就可以使用到这个代码。

但有的蜘蛛比较流氓不遵守协议，还是同样会抓取，比如搜狗蜘蛛

Answer 5

tan · SEO小爬虫，孜孜不倦的求学者

如果只是单纯的不想让蜘蛛爬，那就用rel=“Nofollow”标签加在源文件里，如果是彻底不让抓取就在Robots中加该页面的文件路径，格式跟robots前格式一样，路径\XX\或者其他

Answer 6

芒果太忙

Disallow:/xx/xx/

Answer 7

思迅天店 · 分享SaaS模式的超市收银系统、便利店收银系统、母婴店收银系统、餐饮收银系统等门店收银系统软件！

我也是同样的问题

收录宝