搜外网>搜外问答>问答页面

roborts禁止抓取某一个页面怎么写悬赏1元已结束

微信

roborts禁止抓取某一个页面怎么写？如不想蜘蛛抓取 http://www.xxx.cn/xx/xxxx.html[?] 页面

举报 本帖由用户发布，如有侵权联系删除 2019-05-08 发布2,403 次浏览

7 人参与回答

高飞儿

阿姝等 1 人赞同该回答

User-agent:  Disallow:链接相对地址 如： User-agent: Disallow:/xx/> 可以参照搜外问答的Robots写法:

一只拖鞋

可以参考各大网站的Robots文件是怎么写的，Disallow是禁止抓取的意思，在你的robots文件中加一条Disallow:/xx/xx/.html就可以了

一休哥

可以在源代码中加入Nofollow

秋殇

User-Agent: * 禁止所有搜索引擎蜘蛛抓取。

Disallow: /xx/ 禁止抓取某个目录下的文件

Allow: 允许抓取某个目录文件，一般禁止上面写上了，就可以使用到这个代码。

但有的蜘蛛比较流氓不遵守协议，还是同样会抓取，比如搜狗蜘蛛

tan · SEO小爬虫，孜孜不倦的求学者

如果只是单纯的不想让蜘蛛爬，那就用rel=“Nofollow”标签加在源文件里，如果是彻底不让抓取就在Robots中加该页面的文件路径，格式跟robots前格式一样，路径\XX\或者其他

芒果太忙

Disallow:/xx/xx/

思迅天店 · 分享SaaS模式的超市收银系统、便利店收银系统、母婴店收银系统、餐饮收银系统等门店收银系统软件！

我也是同样的问题

收录宝