靚麗時尚館

位置:首頁 > 健康生活 > 心理

kafka優化攻略

心理1.63W
kafka優化攻略

1)Producer :訊息生產者,就是向 kafka broker 發訊息的客戶端

2)Consumer :訊息消費者,向 kafka broker 取訊息的客戶端

3)Consumer Group (CG):消費者組,由多個 consumer 組成。消費者組內每個消費者負責消費不同分割槽的資料,一個分割槽只能由一個組內消費者消費消費者組之間互不影響。所有的消費者都屬於某個消費者組,即消費者組是邏輯上的一個訂閱者。

4)Broker :一臺 kafka 伺服器就是一個 broker。一個叢集由多個 broker 組成。一個 broker可以容納多個 topic。

5)Topic :可以理解為一個佇列,生產者和消費者面向的都是一個 topic

6)Partition:為了實現擴充套件性,一個非常大的 topic 可以分佈到多個 broker(即伺服器)上,一個 topic 可以分為多個 partition,每個 partition 是一個有序的佇列

7)Replica:副本,為保證叢集中的某個節點發生故障時,該節點上的 partition 資料不丟失,且 kafka 仍然能夠繼續工作,kafka 提供了副本機制,一個 topic 的每個分割槽都有若干個副本,一個 leader 和若干個 follower。

8)leader:每個分割槽多個副本的“主”,生產者傳送資料的物件,以及消費者消費資料的物件都是 leader。

9)follower:每個分割槽多個副本中的“從”,實時從 leader 中同步資料,保持和 leader 資料的同步。leader 發生故障時,某個 follower 會成為新的 follower。

標籤:優化 攻略 kafka