6 人参与回答
海阔天空
海阔天空 · 315防伪标签办理中心-全国315产品防伪查询中心

写的都不错哦

Robots.txt也不是百分百可以禁止抓取

同意大家的观点

武荣网络
武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

要禁止所有搜索引擎抓取网站中的一个页面,可以在该页面的根目录下创建一个名为“Robots.txt”的文件,并在其中添加以下内容:

User-agent: *
Disallow: /pagename

其中,“pagename”应替换为要禁止搜索引擎抓取的页面的实际文件名。这样,所有搜索引擎的爬虫程序都将不会访问该页面,因为它们遵循了robots.txt中的指令。

同意大家的观点

代码:Disallow: /bin/