各位大佬帮看下日志分析出来的这种类似伪百度蜘蛛ip到底是什么
<p>各位大佬帮看下日志分析出来的这种类似伪百度蜘蛛ip到底是什么，每个小时都来8,9次类似的ip，访问首页和robots文件，如果我robots设置他禁止爬取可以如图2这样设置嘛</p><p></p>
相关问题
- 百度蜘蛛只抓取网站首页 不抓内页是什么原因？(1 个回答)
- 复制内容如何让搜索引擎快速收录呢？(0 个回答)
- 百度蜘蛛不来网站怎么提高浏览量？(2 个回答)
- 网站大量IP同时访问导致网站打不开，有好的解决办法吗(2 个回答)
- 如何利用百度蜘蛛的来路IP来判断网站的权重？(1 个回答)
- 百度蜘蛛抓取量为什么越来越少？(4 个回答)
- 百度蜘蛛一天来你网站多少次才算不错？(8 个回答)
- 百度蜘蛛长时间都没有来网站有哪些引导？(3 个回答)
