最新话题

实时互动

1358 浏览

如何看懂蜘蛛日志呢? 网站日志 真假蜘蛛

如何看懂日志,如何看出这个时间段进来的ip是蜘蛛(如果是蜘蛛怎么判别真假蜘蛛)还是访客,或者是其他的,如何看他访问的是哪些页面,从哪里的日志能看到呢?比如看服务器日志还是网站日志呢?  日志一般放在哪个位置,怎么看,有没有能什么分析的软件呢……

915 浏览

这个网站要怎么优化 Site 404 跳转

网站改了模板,之前收录的链接并没有404,直接跳转到首页。site:网站出现两个标题一样的首页页面,图片不一样,第一次遇到这种情况www.eptsz。Com……

1049 浏览

有没什么办法将大部分域名设置抓取次数限制呢,就留主域名抓取不限制就行了 二级域名

因为是城市分站系统,几百个二级城市域名(虽然是一个站,但是二级域名多,百度会当做是几百个网站,蜘蛛抓取量会很多,导致服务器负载太大,影响正常访问),有没什么办法将大部分城市域名设置抓取次数限制呢,就留主域名抓取不限制就行了……

1408 浏览

能让蜘蛛不抓取某些字的链接吗?

www.xxx。Com/case-detail-9012.html比方说网站里面含有case的内页链接,那怎样设置才能让蜘蛛不抓取链接里面含case字的链接呢?(没有目录,全是首页直接/地址的,所以没法disallow该目录),如果可以的话……

942 浏览

能不能disallow二级域名呢, 二级域名

能不能disallow二级域名呢,比如绑定的是www的,因为是城市分站,有好多城市分站二级域名,然后想把hangzhou. shanghai等之类二级域名的都给disallow掉,不让蜘蛛抓取,不知道行不行,如果行的话,该怎么操作的呢……

1353 浏览

蜘蛛到访消耗服务器资源大嘛? 网站打不开

蜘蛛到访也占据cpu,内存,带宽的资源吗,如果有的话,消耗资源大嘛?蜘蛛太多也会导致网站打不开的情况吗? (就是有种情况,明明没多少搜索访客,配置看上去也够用,但是蜘蛛到访很多,但是就是经常网站打不开<排除其他问题的情况下&g……