Update Spark_Streaming基本操作.md
This commit is contained in:
		| @@ -106,6 +106,7 @@ streamingContext.fileStream[KeyClass, ValueClass, InputFormatClass](dataDirector | ||||
| DStream 是 Spark Streaming 提供的基本抽象。它表示连续的数据流。在内部,DStream 由一系列连续的 RDD 表示。所以从本质上而言,应用于 DStream 的任何操作都会转换为底层 RDD 上的操作。例如,在示例代码中 flatMap 算子的操作实际上是作用在每个 RDDs 上 (如下图)。因为这个原因,所以 DStream 能够支持 RDD 大部分的*transformation*算子。 | ||||
|  | ||||
| <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-streaming-dstream-ops.png"/> </div> | ||||
|  | ||||
| ### 2.2 updateStateByKey | ||||
|  | ||||
| 除了能够支持 RDD 的算子外,DStream 还有部分独有的*transformation*算子,这当中比较常用的是 `updateStateByKey`。文章开头的词频统计程序,只能统计每一次输入文本中单词出现的数量,想要统计所有历史输入中单词出现的数量,可以使用 `updateStateByKey` 算子。代码如下: | ||||
|   | ||||
		Reference in New Issue
	
	Block a user