不同条件组合产生的网址很多，如何防止百度爬虫高频爬取？
有个网站，是类似58同城，每个城市一个二级域名，然后有一个列表页面，有很多筛选条件，这些筛选条件的组合会产生很多网址，
比如
http://bj.mydomain.com/list?a=1&b=2&c=abcd
http://sz.mydomain.com/list?a=5&d=8
以此类推，有很多这样的网址。
每个城市的这个页面的内容不同。
然后百度爬虫拼命的爬取这些不同的网址，结果网站承受不住爬取压力，导致网站几乎打不开，正常用户无法访问，
请问有什么办法解决这个问题吗?
1 人参与回答
了解下携程这类平台如何做的吧
