网站日志中的OPT、HEA、PUS、PUT分别代表什么意思?且蜘蛛抓取一批服务器上不存在的目录和url,是怎么回事?

3,799 次浏览

今天检查网站日志,出了GET外还看到其他的OPT、HEA、PUS、PUT,这些分别代表什么意思?发现蜘蛛抓取的网页url很少,大部分都是jpg图片,有必要禁掉图片抓取吗?还有就是蜘蛛抓取了一批服务器上不存在的目录和url,是怎么回事呢?在服务器上没看到抓取的文件,是网站被攻击篡改内容吗?求知道的和有过经历的大神帮忙解答一下,谢谢!


1

追加问题
    3 人参与回答
科夫
科夫 · 我将粉碎一切困难

1.OPT那些是HTTP的请求方法,我们常见的是get 和 post 详细看这里:http://www.runoob.com/http/http-methods.html

2.百度新增了一个类型的蜘蛛,看这里 http://zhanzhang.baidu.com/wiki/990  说是“从3月24日(2017)开始,百度搜索抽取了部分优质站点进行抓取内测,” 实际我的博客在25,26号左右也发现了baidu-render的踪迹,难道我博客也算是优质站点了?窃喜。如果你觉得无所谓那就封锁掉吧

3.蜘蛛抓取不存在的目录很正常的,某人在某平台比如站长工具查询你的SEO信息,域名输入错误了,然后被蜘蛛爬取了,这些很正常,其实不需要过多处理,如果对这些URL404感觉不舒服可以在百度站长平台主动提交一下。

翩然 · 网页设计、前端交流

不是大神![]~( ̄▽ ̄)~*

1.OPT、HEA、PUS、PUT我没见过,你可以截个图让我看下,查下。

2.图片禁用,看你吧,认为没意义的话,可以。或者添加ALT标签也行,如果是图片链接的话,也没意义,就用Nofollow禁用吧。

3.这个可能是测试的时候被蜘蛛抓过,删掉后蜘蛛有回来抓了,那就多看几天,如果多次都来,那就robot屏蔽掉。

http://www.youyitour.com/385.html

回复问答禁止带推广链接,了解合理带链接的方法