scrapy模組詳解

scrapy底層使用的是twisted框架， 是非同步抓取的一個框架。

scrapy的優勢:

1、已經幫你完成了請求， 下載，以及請求失敗重試， 統計

2、使你寫爬蟲更加規範化

3、效能很好(除非自己寫出來阻塞)

4、擴充套件性好， 而且附加的庫也比較多， 比如代理、快取、以及管理web都比較多。