怎样限制蜘蛛,让它不爬页面上我规定的链接

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

求助~ 怎么解决【该站点为低质站点，暂不可添加】

新站只收录了首页正常吗？

同一个网站的标题设置两个，一个设置给搜索引擎，一个设置给用户看

站长工具的友链查询功能用不了了？点了没反应

Answer 1

武荣网络 · 网站建设/仿站、美团点评运营、云服务器、DIY小程序、网站优化(SEO)、竞价托管(SEM)、网络推广。☛☞

　　可以通过在网站的Robots.txt文件中添加Disallow指令来限制蜘蛛不爬取指定的链接。具体方法如下：

　　打开网站根目录下的robots.txt文件；

　　在文件中添加Disallow指令，后跟要禁止蜘蛛爬取的链接；

　　例如，要禁止蜘蛛爬取【页面链接】这个页面，可以在robots.txt文件中添加如下代码：

　　User-agent: *

　　Disallow: 【页面链接】

　　这样，当蜘蛛访问【页面链接】时，就会被禁止爬取该页面。注意，该方法只能限制遵循robots协议的蜘蛛爬取，对于不遵循该协议的蜘蛛无效。