我的网站robots.txt文件里设置了这个,对网站有影响吗?蜘蛛都不来抓取了
禁止搜索引擎抓去包含ox名字的文件
不抓取根目录下的带有ox的文件页面
要拦截对所有包含ox的网址的访问,你查下包含ox的网址都是些什么页面,再决定是否要取消
让更多人参与回答