搜外网>搜外问答>问答页面

robots文件屏蔽一些页面抓取怎么写?

追加问题
    3 人参与回答
屎上最无聊的乚
屎上最无聊 · 喜欢网络技术、喜欢搜索引擎优化

初见说得对,你也可以去网上搜搜或者找个自动生成的网站

初见_
初见_ · 域名解析、dns解析、dns劫持、doss防御

如果是整个文件夹就写Disallow:/articles/
如果是就这几个文件Disallow:/articles/189 Disallow:/articles/190
一个个写下去

陈之虎
陈之虎 · 正在输入……

过来看看有没有大佬知道