搜外网>搜外问答>问答页面

如果要单独屏蔽一个网页被抓取需要怎么做？

微信

如果要单独屏蔽一个网页被抓取需要怎么做？

举报 本帖由用户发布，如有侵权联系删除 2022-07-01 发布371 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

3 人参与回答

三九问答 · 专业的有问必答平台

Robots.txt里面写一条就行了，不过更新后得两天才能看到效果的

客套企业名 · 一款可以搜索企业名录的CRM软件。

Robots.txt里面添加一个禁止

宝贝 · 来打发时间。

meta，Robots="Nofollow,noindex"
robots.txt