spark sparksql 區別

Spark為結構化資料處理引入了一個稱為Spark SQL的程式設計模組。簡而言之，sparkSQL是Spark的前身，是在Hadoop發展過程中，為了給熟悉RDBMS但又不理解MapReduce的技術人員提供快速上手的工具。

sparkSQL提供了一個稱為DataFrame（資料框）的程式設計抽象，DF的底層仍然是RDD，並且可以充當分散式SQL查詢引擎。

SparkSql有哪些特點呢

1）引入了新的RDD型別SchemaRDD，可以像傳統資料庫定義表一樣來定義SchemaRDD。

2）在應用程式中可以混合使用不同來源的資料，如可以將來自HiveQL的資料和來自SQL的資料進行Join操作。

3）內嵌了查詢優化框架，在把SQL解析成邏輯執行計劃之後，最後變成RDD的計算。