我的网站没这个文件，看日志里，尤其是搜狗简直无视robots的存在。
机器人协议没有做搜索引擎就会随便抓取你的根目录，并且网站的整体权重分散
匿名用户
这个文件怎么添加到网站上去呢？
Robots.txt是搜索引擎蜘蛛访问网站时要查看的第一个文件，并且会根据robots.txt文件的内容来爬行网站。在某种意义上说，它的一个任务就是指导蜘蛛爬行，减少搜索引擎蜘蛛的工作量，建议加上这个，可以看下@@的robots是怎写的应该会对你有帮助，
让更多人参与回答
