靚麗時尚館

位置:首頁 > 健康生活 > 心理

spark計數器,原理

心理2.24W
spark計數器 原理

  spark計數器原理是分發task,申請資源等功能外,更重要的一個功能是將RDD拆分成task,即繪製DAG圖。

   Spark的三大核心資料結構:RDD、累加器(只寫不讀)、廣播變數(只讀不寫)

    在spark應用程式中,我們經常會有這樣的需求,如異常監控,除錯,記錄符合某特性的資料的數目,這種需求都需要用到計數器,如果一個變數不被宣告為一個累加器,那麼它將在被改變時不會再driver端進行全域性彙總,即在分散式執行時每個task執行的只是原始變數的一個副本,並不能改變原始變數的值,但是當這個變數被宣告為累加器後,該變數就會有分散式計數的功能。

標籤:計數器 spark