kafka日誌存儲詳解

Kafka是由Apache軟件基金會開發的一個開源流處理平台，由Scala和Java編寫。

Kafka是一種高吞吐量的分佈式發佈訂閲消息系統，它可以處理消費者規模的網站中的所有動作流數據。

這種動作（網頁瀏覽，搜索和其他用户的行動）是在現代網絡上的許多社會功能的一個關鍵因素。

這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。

對於像Hadoop一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。

Kafka的目的是通過Hadoop的並行加載機制來統一線上和離線的消息處理，也是為了通過集羣來提供實時的消息。