发现ty1971.cn 这个网站,蜘蛛老抓取了js文件等,那么有必要把网站的js文件都屏蔽掉吗
没必要吧,JS和css都可以的吧
有些JS文件应该是有依赖的吧,也不能随便屏蔽
无所谓的都一样
mark 如何屏蔽掉呢哈哈哈
JS要屏蔽的。
屏掉屏掉屏掉
直接Robots 设置下屏蔽掉得了,没注意过 还会抓JS文件
屏掉呗~~~反正都是没用页面
让更多人参与回答