怎么禁止蜘蛛不爬取页面?

最近蜘蛛总是爬取重复的页面,来的次很多,其他页面却不被爬取,就是网站一些页面不想被爬取抓取的,我怎么不让蜘蛛抓取重复的页面?谢谢哥哥姐姐指点一二谢谢。

追加问题
    7 人参与回答
个人网站接 · 个人网站接入支付功能

Robots.txt

浅笑心柔
浅笑心柔 · SEO小白,还望大家多多关照

可以Nofollow一下

丫头
丫头 · 阿克苏专业软件开发,专业小程序开发、网站制作、SEO QQ:1917970850

Robots文件,禁止爬取不想让蜘蛛爬取的页面,但是切记不要写错了 之前我写robots文件写错了把所有页面都禁止爬取了

上上定制 · 不一样的软件定制和开发

页面Nofollow

Robots在设置下

沃森游乐设 · 充气城堡,充气滑梯,移动水上乐园等儿童游乐设备实力生产厂家。

在robot文件里设置

C
C.x

单独设置