搜外网>搜外问答>问答页面

光年日志分析后 发现很多URL被蜘蛛变成大写或加空格显示302 304之类的

例如正常URL www点ywen点com点cn/w-2013091399861608369961.html
蜘蛛爬行的是 www点ywen点com点cn/ w-2013091399861608369961.html
/W 中间莫名会加空格 显示状态 302

例如正常URL www点ywen点com点cn/w-2013091399861608369761 .html
蜘蛛爬行的是 WWW点YWEN点COM点CN/W-2013091399861608369761.HTML
url无故变成大写 就访问不了 显示状态304

经过网站源码分析 没有加空格 或者 自动大写转换。
求日志高手指点







追加问题
    5 人参与回答
夫唯
夫唯 · 搜外网创始人,专注SEO和小程序

这个是没问题的。

另外 302,代表是转发。

304代表是页面与上次抓取时没更新。

这些是正常的。

只要不是4xx和 5xx基本ok。

刘振兴
刘振兴 · 搜外论坛咨询区版主 微信&QQ:870837079

给你一点思路,你用光年日志分析工具的时候是否检查了源日志里面是大写或者有空格呢?要知道linux服务器是区分大小写的,是否你们服务器做了对蜘蛛的配置?

光年分析工作不一直都这样的吗

裴亚东
裴亚东 · 90后小逗比

这个难道是光年自己的漏洞?

刘禹成
刘禹成 · 顾问服务请加微信liuyuchengjay 注明:搜外

蜘蛛爬行的是你正常的URL,只是显示出来多了空格和大写而已。

SEO培训招生中
155