27 人参与回答
前后都一样蜘蛛都要抓的
在一个文件里,都能抓取,为啥要分先后呢
不需要管,正常排列就行
这个不重要,,
你这样是没啥意义的啊,只要是URL,蜘蛛都会爬取的
这个是不用的,
按照时间倒序生成不就行了,而且爬取时候不一一定是顺序爬,做好更新时间标注即可。
无关前后,都能抓取
不用搞那么麻烦,直接用priority
这个不分先后顺序
不用那么麻烦,直接用priority设个优先级
不需要进行特定的排序,这个可以在生成的时候选择。