搜外网>搜外问答>问答页面

Robots这东西站长们还有搞吗

Robots:可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。我好想都没特意去搞过这东西。

追加问题
    17 人参与回答

可以设置下

目前是不搞了

可以禁止爬取目录

织梦自带的就行

快递驿站加盟-熊猫快收
快递驿站加 · 快递代收点加盟

建站时设置一下就行,后面基本不用。

ぃ Star dawn ★
ぃ Sta · 一条折腾的咸鱼

一直在用啊,新站建好设置下就行了,后期基本不会再管

小站可以不用管。

燕子
燕子 · 达尔文服装智造平台_为跨境电商企业提供服装货源的供应链

有用呀 我栏目页有两个页面都设置Robots 禁止抓取 而且html里面也设置Nofollow  现在这两个栏目页一直没给抓取过  还是有用的

有用啊 

三塘科技
三塘科技 · 一个有梦想的咸鱼

裸奔也可以,反正百度不管了!

BLIZZARD
BLIZZ · 篮球架、硅PU篮球场、网球场等体育场馆集成供应商

没有不想被抓取的页面,就不用屏蔽

搜外用户
搜外用户 · 来搜外学习的一名普通用户

感觉没啥用啊,你优化没用到这个被

我之前在老网站上用过一次,我也不知道有没有效果啊 

流浪的战狼
流浪的战狼 · 电量变送器|电能质量分析仪|综合安规测试仪|功率分析仪|万用表

感觉没啥用啊

没注意过

加载更多
SEO培训招生中
188