这样的站点抓取也是醉了?大家谈谈看法

百度抓取站点页面如下图,看了你是不是又醉熏熏的感觉!



追加问题
    3 人参与回答
王含
王含 · 喜欢分享自己知识的一个人,结交朋友

1、Robots禁止
2、网站代码、结构优化
3、网站地图、推送内容(加快收录)
希望能帮助你!

秦晨光
秦晨光 · 网络推广 引流 自媒体

不能Robots禁止了吗

杨欣
杨欣 · 又叫小房子(网络昵称),微信:bdxiaofangzi;QQ:2233736929

你如果真要查看这个日志的话,建议先辨别蜘蛛的真伪,而不是仅仅参考日志工具。因为我遇到过服务器端设置蜘蛛错误的情况。
楼上这种情况的原因:
(1)JS等被大量加载而且位于页面前部分。
(2)日志蜘蛛有问题。
(3)屏蔽蜘蛛抓取JS等,并且将JS后移动。。

课程半价