搜外网>搜外问答>问答页面

真心求教:百度蜘蛛为什么抓取根目录的文件地址,而不抓取我的伪静态地址 推荐热议 悬赏8元 已结束

<p><br></p><p><br></p><p><br></p><p>前提概要,这个是我的一个新站,在上线前就做好了伪静态地址的渲染,但是我看百度抓取的地址全部是我网站根目录下的文件地址,但是这个aspx后缀的文件地址其实是空的,但是每一条带参数的动态地址都有对应的伪静态的url,为什么蜘蛛总是抓取我的这些地址呢?(information.aspx对应的是news.html的伪静态地址)</p><p>问题1.每天都有在站长后台手动提交链接,sitemap更新,网站的sitemap.xml ,html文件也都有。</p><p>问题2.robots文件也屏蔽了这些地址,不知道为什么还是抓。</p><p>问题3.如何让百度正确的抓取我的伪静态地址。</p><p>网址www.hscw8.com ,源代码都是手写的应该没有什么问题,求大神真心赐教,不胜感激!</p><p><br></p>

追加问题
    31 人参与回答
习惯沉默
习惯沉默 · 站长一枚,自己做了个“猫掌外链 “ ,免费给大家提供外链发布,百度搜索就能找到,凡发布高质量内容,赠西部数码虚拟主机
小站长袁立俊权重蜘蛛-池出租 等 3 人赞同该回答

收录方面,只要是跟目录,就都会收录,这个是正常现象

崔家大院
崔家大院 · 网站诊断、建站、快速排名
yy权重蜘蛛-池出租 等 2 人赞同该回答

第一点:判断一下网站蜘蛛是不是正常的百度蜘蛛 或者360 等其他搜索引擎蜘蛛  

第二点: CMS  nslookup 一下  看看蜘蛛是不是假蜘蛛

第三点:如果是假蜘蛛,一般都是别人扫描你网站的漏洞 建议屏蔽这些ip

第四点:网站做好防护 建议服务器安装安全狗 之类的工具 ,找程序 查看一下最近的服务器日志 和网站日志  能有有效解决网站漏铜,如果没有出现  排名都正常的情况该,那就正常优化网站。

希望对你有所帮助

yy权重蜘蛛-池出租 等 2 人赞同该回答

这个正常,百度只抓取很感兴趣的内容

可行
可行 · 捏呀捏超轻粘土厂家
权重蜘蛛-池出租 等 1 人赞同该回答

Robots文件不建议禁css JS

A 0湖北楚胜汽车.谢非
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售
权重蜘蛛-池出租 等 1 人赞同该回答

没问题的

权重蜘蛛-池出租 等 1 人赞同该回答

自己是否改版了,是否写好了改版规则,HTML生成方式或者书写代码是否规范。尽量使用以HTML等结尾

千寻
千寻 · 五常大米
权重蜘蛛-池出租 等 1 人赞同该回答

你的收录没什么问题,首页列表页详情页都有收录

沙盘模型公司
沙盘模型公 · 换常规行业友链24H在线,出链30条以内的滴滴
权重蜘蛛-池出租 等 1 人赞同该回答

没啥问题,你这小站做的是真漂亮,点个赞

一抹阳光
一抹阳光 · 好看的皮囊万里挑一,有趣的灵魂独一无二。这!就是我。。。
权重蜘蛛-池出租 等 1 人赞同该回答

想问下,这在哪里可以看到

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
权重蜘蛛-池出租 等 1 人赞同该回答

1、Robots屏蔽,已生效,百度站长诊断也不能被抓取,都操作了建议去百度站长反馈下;

2、这些被抓取页面是否被搜索引擎收录,没收录不影响;

3、是否是真实蜘蛛在抓取爬行;

4、做好站点地图提交,继续观察。

权重蜘蛛-池出租 等 1 人赞同该回答

正常的

来看看大神们讲蜘蛛爬行

只能说是你没有设置好,蜘蛛会爬服务器的每一个文件的,该屏蔽蜘蛛爬行的文件屏蔽掉就好了

我叫猫先生
我叫猫先生 · 谷歌海外推推广

真假蜘蛛看ip地址?

收录没影响,不用担心

加载更多