搜外网>搜外问答>问答页面

怎样限制蜘蛛,让它不爬页面上我规定的链接

微信

举报 本帖由用户发布，如有侵权联系删除 2023-03-17 发布478 次浏览

交换友情链接，就用搜外友链，方便！

3 人参与回答

武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

　　可以通过在网站的Robots.txt文件中添加Disallow指令来限制蜘蛛不爬取指定的链接。具体方法如下：

　　打开网站根目录下的robots.txt文件；

　　在文件中添加Disallow指令，后跟要禁止蜘蛛爬取的链接；

　　例如，要禁止蜘蛛爬取【页面链接】这个页面，可以在robots.txt文件中添加如下代码：

　　User-agent: *

　　Disallow: 【页面链接】

　　这样，当蜘蛛访问【页面链接】时，就会被禁止爬取该页面。注意，该方法只能限制遵循robots协议的蜘蛛爬取，对于不遵循该协议的蜘蛛无效。