<p><br></p><p><br></p>
重新写一下
屏蔽了蜘蛛的抓取
你这样写就是这个效果的
你不会建议吧网站的Robots文件删除
屏蔽蜘蛛抓取,
User-agent:* Disallow: Sitemap: 域名/Sitemap点xml
最简单的写法
你成功的屏蔽了百度蜘蛛
百度蜘蛛来了,被你拒之门外
进来学习一下
你不准别人抓取啦,不会写百度一下,其实很简单的
嘛情况哟
disallow,去掉dis。
百度蜘蛛被你屏蔽了
文件格式不对
如果没有屏蔽的话就投诉一下
屏蔽了蜘蛛抓取
你robot不是禁止蜘蛛抓取么,去用第三方工具重新写个robot提交看看
不会写Robots可以不写
屏蔽蜘蛛抓取
百度蜘蛛被你屏蔽了,优秀
百度蜘蛛被你调戏了哈哈哈哈
你这是屏蔽蜘蛛啊
屏蔽了所有页面的抓取。。。
很多文件你不屏蔽,屏蔽主页干嘛
噗,哈哈哈哈,你这厮在调戏蜘蛛啊。不会写Robots,还不如直接删了文件。
你这Robots文件的问题吧,要是不太会就找找网上怎么写吧
你也是个行家,Robots.txt,你这样写的意思是,屏蔽所有搜索引擎蜘蛛来抓取你所有的页面,你的网站都把人家屏蔽了,怎么让人家过来抓
更新快照试试
让更多人参与回答