不同条件组合产生的网址很多,如何防止百度爬虫高频爬取?

有个网站,是类似58同城,每个城市一个二级域名,然后有一个列表页面,有很多筛选条件,这些筛选条件的组合会产生很多网址,

比如

http://bj.mydomain.com/list?a=1&b=2&c=abcd

http://sz.mydomain.com/list?a=5&d=8

以此类推,有很多这样的网址。

每个城市的这个页面的内容不同。

然后百度爬虫拼命的爬取这些不同的网址,结果网站承受不住爬取压力,导致网站几乎打不开,正常用户无法访问,

请问有什么办法解决这个问题吗?


追加问题
    1 人参与回答
陈程
陈程 · 兼职接SEO/SEM,微信942433908

了解下携程这类平台如何做的吧