蜘蛛爬取很混乱,请教 悬赏3元 已结束

网站是手机站,网站m.yinghuiyun.com

QQ截图20170710172812

用光年日志分析软件分析,看到搜索引擎都是抓取的JS代码,而且不是一个独立文件里面的JS代码,这样我在ROBOTS文件里面也不好禁止掉。

问题一:为什么会出现这样的情况,什么原因导致的?

问题二:怎么样可以解决掉这个问题的呢?

追加问题
分享到微信 收藏
    6 人参与回答
暗狱枯木逢春炼魔 等 3 人赞同该回答

问题不大,你如果不想被抓去,直接整理成一个文档屏蔽掉它就行了

奋斗小青年
奋斗小青年 · 在这里希望用我所学的知识和经验去帮助更多的人吧!可以进群互相交流学习,QQ群:71378882
太年轻。 等 1 人赞同该回答

这种只是蜘蛛抓取,只要不放出来就没事,不用去刻意在意这些,

可乐先生
可乐先生 · 7年网站运营经验 QQ:1073993292
奋斗小青年 等 1 人赞同该回答

直接写到Sitemap里面,降低权重值。

高飞
高飞 · 素材火

我很少看蜘蛛的,撸起袖子就是更新,收录多多的。。。

要引导蜘蛛不要爬去JS就可以了

网站优化
网站优化 · 本人自己创建了 兽药120信息网,这是一个行业性质的门户网站,还有一个“桦甸互联”是一个地区性的网站建设平台!

这个没法解决 因为你的每个页面都带JS文件 只要爬你的首页它就会挨个去爬了,这个是没有问题的!没什么大惊小怪的事!