scrapy

Scrapy — framework Python de crawling web massif (framework officiel, pas un simple fetcher). Spiders déclaratifs, pipelines, middlewares, autothrottle, cache HTTP, exports JSON/CSV. Exposé comme serv