搜外网>搜外问答>问答页面

SEO 怎么屏蔽蜘蛛对某个文件夹 或者是某个文件进行爬行 我要代码

追加问题
    16 人参与回答
云康健
云康健 · 广西云康健健康管理有限公司

用disallow规则啊

A 0湖北楚胜汽车.谢非
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

感觉这个没什么用的啊

啻呄
啻呄 · SEO、剪辑、上架APP、

去看下Robots咋写,你就知道咋屏蔽了

副业教程
副业教程 · 免费分享自媒体,抖音带货,闲鱼,seo,短视频,剪切视频等一系列课程

新建一个叫Robots.txt的文件夹,之后写入下面代码

web服务器里直接拒绝

新建一个Robots.txt的文本文件,然后在里面放上:Disallow: /文件名称

leeydls
leeyd · 佛系佛系,排名随缘,收录随缘,转化随缘

新建一个叫Robots.txt的文件夹,之后写入下面代码,要注意文件夹名称的大小写要一致,放到网站根目录,之后到百度搜索资源平台的Robots下更新一下

User-agent: *
Disallow: /文件名称/

Robots.TXT disallow /XXXX

有时候写了也不太有用 照常抓  先弄上试试Robots里面

行星减速机
行星减速机 · 行星减速机品牌厂家

Robots协议就可以啊,具体教程自己百度

Robots协议就可以啊,具体教程自己百度

Robots协议里面加入Disallow: /某某文件夹

加载更多
SEO培训招生中
188