5元悬赏：百度总数抓取这样的链接怎么处理！(悬赏5元)

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、这个返回码是403，不用禁止，返回码是4xx，意味着是无效页面，搜索引擎是不会收录这个页面的；

2、Robots使用错误，会导致不收录，确定站点不会有任何动态URL产生那么可以整站屏蔽动态URL；

3、403 返回码的含义是没有权限访问此站。这种类似需要注册才能查看，这种，你的站点当蜘蛛模拟人点击访问某个页面，被提示你无权访问，需要注册，否则不能访问。

PS:具体分析这个页面是哪里的，是如何生成的，蜘蛛为何会爬，返回码4xx，这种即使爬了网页也不会收录。

风静 · 十年seo经验，

使用 Robots.txt 禁止抓取动态页面

Disallow: /*?*

Disallow: /?*

然后通过百度站长平台抓取测试一下看看返回状态

大青山 · 深圳翻译公司-SEO还在潜修

网站做伪静态设置，分析下路径

睡前故事- · 睡前故事，哄女朋友睡觉小故事，儿童故事

你可以参考知乎的里面做了不少的优化

通达物流

你看不到的搜索引擎也不会看到。

倾心丨WH · 南京优折电子商务有限公司总经理/CEO

返回403可以不用管的，不会收录的

见效收费 · 义和科技（752304405）为更多企业公司SEO排名优化，真正的做到见效收费！

好好检查一下蜘蛛抓取的路径，返回是什么，在去解决

可能是假蜘蛛

大道指尖 · 专注于手机锁屏密码解锁，华为OPPOVIVO激活锁远程解锁业务。

从哪里可以看到搜索引擎来爬过，并抓取过

吉他大象

可以吧不想抓取的在rob里屏蔽

浮生挽歌 · seo、网站建设

你看不到的搜索引擎也不会看到。

Disallow: /*?*

Disallow: /?*

螺旋钢管 · 专注企业SEO优化

我的好像也是这样

Seaso

我的好像也是这样

事业菌

不知道你有没有封禁过，如果没有的话可以试试

香港主机 · SEO爱好者,互交流,共成长！香港云服务器，友链交换联系776863202

我也遇到这样的情况，明明Robots已经封禁了某些目录，百度蜘蛛还是去抓取，要么是百度不遵守robots协议，要么就是假的百度蜘蛛，请问怎么识别真假百度蜘蛛IP？？？？？并且通过日志分析发现，百度蜘蛛抓取JS，css，图片的数量要比内容页多的多，还有一些不存在的URL。

5元悬赏：百度总数抓取这样的链接怎么处理！推荐热议悬赏5元已结束