真心求教:百度蜘蛛为什么抓取根目录的文件地址,而不抓取我的伪静态地址 推荐热议 悬赏8元 已结束

微信图片_20200615101201

微信图片_20200615101309

微信图片_20200615101412

前提概要,这个是我的一个新站,在上线前就做好了伪静态地址的渲染,但是我看百度抓取的地址全部是我网站根目录下的文件地址,但是这个aspx后缀的文件地址其实是空的,但是每一条带参数的动态地址都有对应的伪静态的url,为什么蜘蛛总是抓取我的这些地址呢?(information.aspx对应的是news.html的伪静态地址)

问题1.每天都有在站长后台手动提交链接,sitemap更新,网站的sitemap.xml ,html文件也都有。

问题2.robots文件也屏蔽了这些地址,不知道为什么还是抓。

问题3.如何让百度正确的抓取我的伪静态地址。

网址www.hscw8.com ,源代码都是手写的应该没有什么问题,求大神真心赐教,不胜感激!


追加问题
    31 人参与回答
习惯沉默
习惯沉默 · 站长一枚,自己做了个“小猪外链 “ ,免费给大家提供外链发布,百度搜索就能找到,凡发布高质量内容,赠西部数码虚拟主机
小站长袁立俊 等 2 人赞同该回答

收录方面,只要是跟目录,就都会收录,这个是正常现象

崔家大院
崔家大院 · 网站诊断、建站、快速排名 qq:787808565
yy 等 1 人赞同该回答

第一点:判断一下网站蜘蛛是不是正常的百度蜘蛛 或者360 等其他搜索引擎蜘蛛  

第二点: CMS  nslookup 一下  看看蜘蛛是不是假蜘蛛

第三点:如果是假蜘蛛,一般都是别人扫描你网站的漏洞 建议屏蔽这些ip

第四点:网站做好防护 建议服务器安装安全狗 之类的工具 ,找程序 查看一下最近的服务器日志 和网站日志  能有有效解决网站漏铜,如果没有出现  排名都正常的情况该,那就正常优化网站。

希望对你有所帮助

yy 等 1 人赞同该回答

这个正常,百度只抓取很感兴趣的内容

来看看大神们讲蜘蛛爬行

只能说是你没有设置好,蜘蛛会爬服务器的每一个文件的,该屏蔽蜘蛛爬行的文件屏蔽掉就好了

我叫猫先生
我叫猫先生 · 网站建设优化,谷歌海外推推广,网站诊断qq:954607768

真假蜘蛛看ip地址?

可行 · 好食者新潮餐饮

Robots文件不建议禁css JS

A
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

没问题的

自己是否改版了,是否写好了改版规则,HTML生成方式或者书写代码是否规范。尽量使用以HTML等结尾

收录没影响,不用担心

千寻
千寻 · 五常大米

你的收录没什么问题,首页列表页详情页都有收录

没啥问题,你这小站做的是真漂亮,点个赞

一抹阳光
一抹阳光 · 好看的皮囊万里挑一,有趣的灵魂独一无二。这!就是我。。。

想问下,这在哪里可以看到

推推蛙
推推蛙 · 推推蛙擅长SEO网站优化、竞价账户调整、网站建设、全网优化、新媒体营销、品牌策划

1、Robots屏蔽,已生效,百度站长诊断也不能被抓取,都操作了建议去百度站长反馈下;

2、这些被抓取页面是否被搜索引擎收录,没收录不影响;

3、是否是真实蜘蛛在抓取爬行;

4、做好站点地图提交,继续观察。

正常的

加载更多
SEO培训招生中
147