搜外网>搜外问答>问答页面

Robots这东西站长们还有搞吗

微信

Robots：可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。我好想都没特意去搞过这东西。

追加问题
Robots
本帖由用户发布，如有侵权联系删除  2020-11-05 发布852 次浏览
举报
其他问题
 
    17 人参与回答
用户65944

可以设置下

5 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户140436

目前是不搞了

5 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户129887

可以禁止爬取目录

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户175009

织梦自带的就行

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户174284 · 快递代收点加盟

建站时设置一下就行，后面基本不用。

5 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户131073 · 一条折腾的咸鱼

一直在用啊，新站建好设置下就行了，后期基本不会再管

5 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
用户183846

小站可以不用管。

5 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
用户180434 · 达尔文服装智造平台_为跨境电商企业提供服装货源的供应链

有用呀 我栏目页有两个页面都设置Robots 禁止抓取 而且html里面也设置Nofollow  现在这两个栏目页一直没给抓取过  还是有用的

5 年前
IP属地：香港
赞同 0 评论 0
收藏 举报
评论取消
用户134096

有用啊 

5 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
用户156764 · 一个有梦想的咸鱼

裸奔也可以，反正百度不管了！

5 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
用户170509 · 篮球架、硅PU篮球场、网球场等体育场馆集成供应商

没有不想被抓取的页面，就不用屏蔽

5 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户133351 · 来搜外学习的一名普通用户

感觉没啥用啊，你优化没用到这个被

5 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
用户180702

我之前在老网站上用过一次，我也不知道有没有效果啊 

5 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
用户110655 · 电量变送器|电能质量分析仪|综合安规测试仪|功率分析仪|万用表

感觉没啥用啊

5 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
用户171032

没注意过

5 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
用户185667

我刚开始时候网站用过，后来的几个新网站都没用

5 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
用户138818 · 高质量发布企业信息-网站锚文本链接发布-点右边自己发

有用的，你优化没用到这个被

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消

收录宝

40821 55879 48369 65481 74376 86537 05212 22658 14062 32055 40148 48078 55541 65104 73996 86120 05757 14733 23205 32559

蜘蛛池

呼和浩特债务重组公司
搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司