• DataFrame 是高级 API，提供类似于SQL的 query 接口，方便熟悉关系型数据库的开发人员使用；
• Spark SQL 执行引擎会自动优化 DataFrame 程序，而用 RDD API 开发的程序本质上需要工程师自己构造 RDD 的 DAG 执行图，所以依赖于工程师自己去优化。( 具有结构类型、会优化执行顺序, 如在 group by 和 filter 之间可以优化将 filter 优先于 group by 执行)

Structured Streaming 比 Spark Streaming 开发起来更简单, 开发人员无需构造 RDD 的 DAG 执行图, 太过关注程序性能.

Structured Streaming 提供的 DataFrame API 相对高级. 并且运行在 spark sql 的引擎上. 这样就能应用到 saprk sql 本身的优化功能 如 执行计划优化 和 内存管理等

Structured Streaming 比 Spark Streaming 更具备实时性.

Structured Streaming 更好的支持事件时间.

基于结构化数据的 流处理模块 Structured Streaming

流数据处理最基本的问题就是如何对不断更新的无边界数据建模。

之前讲的 Spark Streaming 就是把流数据按一定的时间间隔分割成许多个小的数据块进行批处理。在 Structured Streaming 的模型中，我们要把数据看成一个无边界的关系型的数据表。每一个数据都是表中的一行，不断会有新的数据行被添加到表里来。我们可以对这个表做任何类似批处理的查询，Spark 会帮我们不断对新加入的数据进行处理，并更新计算结果。

与 Spark Streaming 类似，Structured Streaming 也是将输入的数据流按照时间间隔（以一秒为例）划分成数据段。每一秒都会把新输入的数据添加到表中，Spark 也会每秒更新输出结果。输出结果也是表的形式，输出表可以写入硬盘或者 HDFS。

Structured Streaming 的输出模式

• 完全模式 ( Complete Mode ): 整个更新过的输出表都被写入外部存储
• 附加模式 ( Append Mode ): 上一次触发之后新增加的行才会被写入外部存储. 如果老数据有改动则不适合该模式
• 更新模式 ( Update Mode ): 上一次触发之后被更新的行才会被写入外部存储