搜外网>搜外问答>问答页面

禁止所有搜索引擎抓取网站中的一个页面robots.txt怎么写！求大神！

微信

Robots 索引举报 本帖由用户发布，如有侵权联系删除 2023-03-17 发布621 次浏览

6 人参与回答

海阔天空 · 315防伪标签办理中心-全国315产品防伪查询中心

写的都不错哦

浅语

Robots.txt也不是百分百可以禁止抓取

MR.No

同意大家的观点

武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

要禁止所有搜索引擎抓取网站中的一个页面，可以在该页面的根目录下创建一个名为“Robots.txt”的文件，并在其中添加以下内容：

User-agent: *

Disallow: /pagename

其中，“pagename”应替换为要禁止搜索引擎抓取的页面的实际文件名。这样，所有搜索引擎的爬虫程序都将不会访问该页面，因为它们遵循了robots.txt中的指令。

金榜

同意大家的观点

代码：Disallow: /bin/

收录宝