请高手帮我看看网站日志里出现百*家*乐|博*彩|怎么解决啊
3,575 次浏览218.30.118.98 - - [10/Aug/2014:06:48:50 +0800] "GET http://wwwxxxxxcom/ HTTP/1.1" 200 58997 "http://wwwbaiducom/s?wd=百家乐|博彩|皇冠网|太阳*城" "Python-urllib/2.6"
高手帮忙看看日志里出现这种情况什么的怎么解决,之前没在意,因为我查了站内没有这个,但现在明天看日志都有这玩意,而且不收录内页,不知道跟这个可有原因,求高手帮忙啊
4 人参与回答
在百度上搜索这些词汇,可以搜索到你的网站吗?
如果你的网站里排查,都没存在这些词汇,则没关系。
如果存在相关的一些连接页面,则用Robots.txt 屏蔽下这些页面。
从这里日志里看,这个是用户搜索的点击
看下蜘蛛爬取的页面,是否都正常,返回200等。