搜外网>搜外问答>问答页面

如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求?

追加问题
    2 人参与回答

可以下载网站日志,找个分析工具试下,就能知道哪些是搜索引擎蜘蛛

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

可以下载网站日志,找个分析工具试下,就能知道哪些是搜索引擎蜘蛛

SEO培训招生中
189