网站日志里有抓取不存在的页面,如何解决?大神帮忙 网站日志
今天偶然看到我的百度匀加速里的seo报表里有很多不存在的目录和页面被莫名抓取,感觉很不正常……
今天偶然看到我的百度匀加速里的seo报表里有很多不存在的目录和页面被莫名抓取,感觉很不正常……
<p>站长平台显示抓取频次为0,而网站日志显示当天是有蜘蛛来抓取的呀。这是为什么呢。</p><p></p>……
<p></p><p>我的网站首页降权了,首页一直都不收录,后来我就重新买了个域名,将老域名301到新域名,现在已经有11天了,我的网站一直能打开啊。为什么日志显示有好几个500开头,503开头的代码,这是……
老域名,但是有接近一年时间是个空白网站,新站上线后,按着持续优化的步奏进行外链发布和站内内容完善,补足完善一些站内标签然后不同的是,上线后抓取频次就一直为0,不知道大家有木有遇到这种情况,反馈站长后,只是回答需要抓取周期,但是网站日志基本没……
<p>ip 47.106.157.11 <br></p><p><br></p><p>网站日志分析看查到异常情况,这个情况一般人都有,首先我一直用的都是阿里云……
老域名,但是有接近一年时间是个空白网站,新站上线后,按着持续优化的步奏进行外链发布和站内内容完善,补足完善一些站内标签然后不同的是,上线后抓取频次就一直为0,不知道大家有木有遇到这种情况,反馈站长后,只是回答需要抓取周期,但是网站日志基本没……
<p></p><p>①:百度蜘蛛在爬行网站日志都有http///www.xxxx。Com/www.aaa。Com后面的域名就是我公司的网站,这是什么情况?对网站有影响吗?</p><p&g……
<p></p><p>百度爬取很多的是首页,内容页爬取的很少。</p>
之前有个站换了服务器,换服务器前词数每天都在涨,后来被攻击两天。换服务器后更新ip 一周多了 抓取诊断恢复正常,但是日志里没有蜘蛛的身影(内容正常更新)。站长工具有显示自动提交,但是网站日志却没了蜘蛛踪迹。词也快掉完了 被干废了吗?……
有个问题想问一下,一个新站上线后一级域名被百度秒收录,给一级域名做了301跳转到带3W链接,百度却一直不收录。查看网站日志,虽然百度蜘蛛抓爬很少,但仍然是有的,而且百度对网站的快照更新还比较快,但就是不收录带3W的域名,更不用说内页了。这个……
[24/Jun/2022:14:57:05 +0800] "\x03\x00\x00/*\xE0\x00\x00\x00\x00\x00Cookie: mstshash=Administr" 400 150 "-" "-"
173.82.66.210 这个IP我查是美国的 网站日志说是百度蜘蛛,是真的百度蜘蛛吗?
173.82.66.210 这个IP我查是美国的 网站日志说是百度蜘蛛,是真的百度蜘蛛吗?
最近查看网站日志,竟然发现了很多别的网站的网址。查看之后才发现,这个网站是采集了我的站点,而且里面很多的代码都没改,甚至里面请求数据的方法都没改,所以才导致我的网站日志出现了很多他们的网址!……
<p>我的网站www.firescore.cn每天都有人访问这些,这些人是故意的吗,难道想黑我的网站?有的时候一天访问这种类型的达到200次左右,这个怎么办呢,我也看了一下ip每天还是不一样的ip来访问的<br>&l……
查看网站日志没有发现一个百度蜘蛛来,其他搜狗、谷歌、头条等,蜘蛛都有。去年10月改版,一直是抓老的url,死链提交至今,还有少量的死链没有处理掉。今年2月底,突然没有蜘蛛了。1、站长后台没有显示抓取异常。2、抓取诊断后,日志中有蜘蛛出现。这……
<p>查看我网站的日志,发现有很多IP后缀不停的变化访问,属于正常吗?</p><p></p>……
还是好早以前的光年,但是光年不是很细,各位有啥好用的网站分析工具么
网站日志查询看到蜘蛛很多次爬取,就是爬取内容都是重复的,每次被爬取的都是重复的,怎么合理的爬取页面最好不要重复了,有什么方法可以解决?蜘蛛爬取页面都是重复的,苦恼死了怎么办?……
最近发现大量的蜘蛛如MJ12bot,SemrushBot,BLEXBot等等过来爬行网站,是否要将其全部禁用?
<p></p><p><br></p><p>查看网站日志,发现今天百度蜘蛛大量在爬内页,明天 应该会放出更多</p><p><a href=&……
今天看了网站日志,昨天抓取时间8小时,上个礼拜六还只有40多分钟左右,今天又收录了10个页面,虽说降权这么久,但是收录是一直嘎嘎涨的。铁汁们给我分析下是正在好起来吗……
各位有最近一两个月上线的新网站吗?收录怎么样?我上线了三个,1. 网站1:只发产品,第一天开始,收了个首页之后就没了2. 网站2:发了外链,伪原创,也是第一天收了首页,然后没有了,这几天开始,首页收录都没了3. 网站3:发产品和行业新闻源新……
做了404链接提交,但是发现近期还是有很多爬到这个入口的,无疑是浪费了蜘蛛资源,怎么解决呢?……
网站日志分析,应该用什么工具?
每天不停给百度主动推送链接,可网站日志一直没有百度蜘蛛的爬行记录,网站robots并没屏蔽百度,网上找搜索答案都是什么质量低,不想怼这些人,连蜘蛛的爬行数据都没,何来质量低;有没有哪位兄台能解决这个问题。……
<p>网站经常打不开,但是不知道原因在哪,就在/www/wwwlogs/里打开网站的error_log文件看下(也不知道是不是在这里分析),那这个文件该怎么分析呢??能看出哪些问题?? 这里面除了域名跟时间,其他的都看不懂,……
查看网站日志没有发现一个百度蜘蛛来,其他搜狗、谷歌、头条等,蜘蛛都有。去年10月改版,一直是抓老的url,死链提交至今,还有少量的死链没有处理掉。今年2月底,突然没有蜘蛛了。1、站长后台没有显示抓取异常。2、抓取诊断后,日志中有蜘蛛出现。这……