SparkStreaming連接Kafka兩種方式

Spark Streaming支持從多種數(shù)據(jù)源獲取數(shù)據(jù),其中就包括 Kafka，要想從 數(shù)據(jù)源獲取數(shù)據(jù)，首先要建立兩者之間的連接，本節(jié)來介紹兩種連接Kafka的方式。

1.Receiver based Approach:

(1)KafkaUtils.createDstream基于接收器方式，消費Kafka數(shù)據(jù)已淘汰企業(yè)中不再使用;

(2)Receiver作為常駐的Task運行在Executor等待數(shù)據(jù)，但是一個Receiver效率低，需要開啟多個，再手動合并數(shù)據(jù)(union)，再進行處理，很麻煩;

(3)Receiver那臺機器掛了，可能會丟失數(shù)據(jù)，所以需要開啟WAL(預寫日志)保證數(shù)據(jù)安全，那么效率又會降低;

(4)Receiver方式是通過zookeeper來連接kafka隊列，調(diào)用Kafka高階API,offset存儲在zookeeper,由Receiver維護

(5)Spark在消費的時候為了保證數(shù)據(jù)不丟也會在Checkpoint中存一份offset,可能會出現(xiàn)數(shù)據(jù)不一致;

2.· Direct Approach (No Receivers):

(1)KafkaUtils.createDirectStream直連方式，Streaming中每批次的每個job直接調(diào)用Simple Consumer API獲取對應Topic數(shù)據(jù)，此種方式使用最多，面試時被問的最多;

(2)Direct方式是直接連接kafka分區(qū)來獲取數(shù)據(jù)，從每個分區(qū)直接讀取數(shù)據(jù)大大提高并行能力

(3)Direct方式調(diào)用Kafka低階API(底層APl)，offset自己存儲和維護，默認由Spark維護在checkpoint中，消除了與zk不一致的情況

(4)當然也可以自己手動維護，把offset存在MySQL/Redis中;

兩種API

Spark Streaming與Kafka集成，有兩套API，原因在于Kafka Consumer API有兩套，文檔：

http://spatkapathe.org/docs/2.4.5/streaming-kafka-integration.html

http://spark apache.org/docs/latest/streaming-kafka-integration.html

Kafka0.8.x版本-早已淘汰

底層使用老的KafkaAPI:Old Kafika Consumer API

支持Receiver(已淘達)和Direct模式：

Kafka 0.10.x版本-開發(fā)中使用

底層使用新的KafkaAPI:New Kafka Consumer API

只支持Direct模式

兩個版本API

怎樣使用Spark Shell來讀取HDFS文件？

Spark Streaming框架有什么特點？【大數(shù)據(jù)培訓】

Spark Streaming工作原理是什么？

怎樣一鍵啟動或關(guān)閉Kafka？有快捷的方法嗎？

傳智教育python+大數(shù)據(jù)開發(fā)工程師培訓