网站的robots文件要怎么写？
<p><font size="4">我想让蜘蛛不爬我网站新闻栏目的其中一项，比如图中“帝唐动态”这一栏的所有新闻都不让蜘蛛爬取收录，网站的robots文件要怎么写呢。我目前自个写的robot文件没有用</font></p><p><br></p><p><br></p>
<p><font size="4">我想让蜘蛛不爬我网站新闻栏目的其中一项，比如图中“帝唐动态”这一栏的所有新闻都不让蜘蛛爬取收录，网站的robots文件要怎么写呢。我目前自个写的robot文件没有用</font></p><p><br></p><p><br></p>
