flink為什麼比spark好
Flink相對於Spark的優點體現在以下幾個方面。
容錯
Flink 基於兩階段提交實現了精確的一次處理語義。
Spark Streaming 只能做到不丟資料,但是有重複。
反壓
Flink 在資料傳輸過程中使用了分散式阻塞佇列,一個阻塞佇列中,當佇列滿了以後傳送者會被天然阻塞住,這種阻塞功能相當於給這個阻塞佇列提供了反壓的能力。
Spark Streaming 為了實現反壓這個功能,在原來的架構基礎上構造了一個“速率控制器”,這個“速率控制器”會根據幾個屬性,如任務的結束時間、處理時長、處理訊息的條數等計算一個速率。在實現控制資料的接收速率中用到了一個經典的演算法,即“PID 演算法”。
流和微批
Flink是流處理,用流的思想做批處理。
Spark 是微批處理,用批的思想做流處理。
延時
sparkstreaming是秒級別的
Structured Streaming是毫秒級別的
Flink是亞秒級別的
狀態儲存
spark的狀態管理目前做的比較簡單,只有兩個對應的運算元(UpdateStateByKey和mapWithState)
Flink 提供檔案、記憶體、RocksDB 三種狀態儲存,五種型別的狀態,(ValueState,ListState,ReducingState,AggregatingState,FoldingState,MapState)
靈活的視窗
Spark只能根據處理時間視窗批量處理
Flink可以基於處理時間,資料時間,沒有記錄等的視窗
-
香聞流水處影落野人家全詩
明代詩人道源的《早梅》 萬樹寒無色南枝獨有花。 香聞流水處影落野人家。賞析:雪花落下,給植物披上了銀裝,一點顏色的都沒有在南邊的樹枝上有一些花,沒有葉子。在小溪旁我都聞到了香味,抬頭一看,只見梅花的影子映在農家的牆壁上。...
-
增的讀音是什麼
增→zēng。這個音節是由聲母z和複韻母eng組成的讀作滋eng增。增可以組詞為:增加,增長,增色,增添,增容,增人添口,增收,增名“增”,普通話讀音為zēng。常用釋義1、動新增加多。近義加添反義減例詞增光增高增加增援增產2、名姓。詳細釋義1、動形聲。從土,曾聲。字本作“曾...
-
四年級上冊123是什麼數
統稱為自然數。人教版四年級數學教材明確說明:像1,2,3…表示物體個數的數叫自然數,0也是自然數。123又叫質數。素數又稱作質數,是指只有1和其自身兩個因數的自然數。我們觀察123這個數字,發現它各個數位的數字和等於6,因此可判斷出它能被3整除。...
-
海爾491是單迴圈嗎
海爾491是單迴圈,單迴圈冰箱壓縮機會頻繁啟動,噪音大,耗電量大,而且製冷不均勻,冷凍室往往會出現過冷現象,結很厚的霜...