搜外网>搜外问答>问答页面

我的robots写的有点多,这样会不会不利于爬取? 悬赏1元 已结束

如下图,因为网站有很多页面的内容是完全一样的,只不过url不一样,为了避免搜索引擎重复收录内容,我写了这个robots,写的条目有点多,不知道这样会不会给搜索引擎打来判断上的工作量?不知道像这样条目太多会不会影响搜索引擎对不禁止内容的收录?(这个robots通过百度站长工具检查是正确的,没有错误,这一点注明一下)

Q01

追加问题
    31 人参与回答
xps行业 等 1 人赞同该回答

不影响啊,必须不影响啊。。

素材网
素材网 · 素材网,网站模板,网站素材,视频教程

不影响的,都是一样

杨杨🎶
杨杨🎶 · 蜂蜜知识/jingtanfuke/

不影响吧

94爱网赚论坛
94爱网赚 · 网络赚钱, 创业者, 薅羊毛, 兼职网, 资源分享, 网赚论坛

不会你可以看看知呼的

睡前故事-逝水流年
睡前故事- · 睡前故事,哄女朋友睡觉小故事,儿童故事

不影响的

A小茗
A小茗 · 心情说说,心情不好的说说,心情说说很现实的说说 ,心情好的说说, 情感说说, 伤感说说 ,说说

不会的

没什么影响,不是禁止抓取

源源源
源源源 · SEM学徒

不影响

在线客服代理
在线客服代 · 接快排,全平台优化1048436727

我就不会写,做一个SEO,还要懂代码,太难了

梦梦
梦梦 · 10年服务经验,专注于服务器租用

你想让蜘蛛抓取的内容足够好就行,不让抓取的内容管他干嘛,都不抓取能有什么影响

只要没有屏蔽蜘蛛就行

杰克
杰克 · 专业定制PCB印刷电路板

不影响  我的也很多

香港服务器租用
香港服务器 · 磐石云天海外服务器 香港服务器租用 美国服务器租用 香港站群服务器租用

没什么影响的   这样可以

tony301
tony3 · 美国FBA海运大庄,提供跨境电商一站式物流服务。

不影响,我的也多,很多后台很多垃圾链接死链,老是爬。屏蔽了
只要语法正确就可以

三郎
三郎 · 南京车位涂鸦

不影响的。蜘蛛首先爬取Robots里面的内容,先排除不让抓取的页面,然后去抓取允许抓取的页面。

加载更多
SEO培训招生中
161