网站需要在robot.txt中屏蔽不相关的内容吗?
你不想让他爬的 如版本 JS css等
需要啊!不然要他有什么用
这个还是很有必要的,屏蔽不相关的,剩下的都是相关的,相关性越高,收录及排名越好
还是很有必要的
让更多人参与回答