搜外网>搜外问答>问答页面

Robots这东西站长们还有搞吗

微信

Robots：可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。我好想都没特意去搞过这东西。

追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2020-11-05 发布735 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    17 人参与回答
火星
火星

可以设置下

4 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
艺赛旗
艺赛旗

目前是不搞了

4 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
XIWEN
XIWEN

可以禁止爬取目录

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
by
by

织梦自带的就行

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
快递驿站加盟-熊猫快收
快递驿站加 · 快递代收点加盟

建站时设置一下就行，后面基本不用。

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
ぃ Star dawn ★
ぃ Sta · 一条折腾的咸鱼

一直在用啊，新站建好设置下就行了，后期基本不会再管

4 年前
IP属地：江苏
赞同 0 评论 0
收藏 举报
评论取消
7号传奇人物
7号传奇人

小站可以不用管。

4 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
燕子
燕子 · 达尔文服装智造平台_为跨境电商企业提供服装货源的供应链

有用呀 我栏目页有两个页面都设置Robots 禁止抓取 而且html里面也设置Nofollow  现在这两个栏目页一直没给抓取过  还是有用的

4 年前
IP属地：香港
赞同 0 评论 0
收藏 举报
评论取消
赵大宝
赵大宝

有用啊 

4 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
三塘科技
三塘科技 · 一个有梦想的咸鱼

裸奔也可以，反正百度不管了！

4 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
BLIZZARD
BLIZZ · 篮球架、硅PU篮球场、网球场等体育场馆集成供应商

没有不想被抓取的页面，就不用屏蔽

4 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
搜外用户
搜外用户 · 来搜外学习的一名普通用户

感觉没啥用啊，你优化没用到这个被

4 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
污水设备
污水设备

我之前在老网站上用过一次，我也不知道有没有效果啊 

4 年前
IP属地：辽宁
赞同 0 评论 0
收藏 举报
评论取消
流浪的战狼
流浪的战狼 · 电量变送器|电能质量分析仪|综合安规测试仪|功率分析仪|万用表

感觉没啥用啊

4 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
痫
痫

没注意过

4 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
加载更多
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司