From d004627669c5203c6ce95e70c47b5642a53ac5f4 Mon Sep 17 00:00:00 2001 From: heibaiying <31504331+heibaiying@users.noreply.github.com> Date: Tue, 16 Apr 2019 09:08:13 +0800 Subject: [PATCH 1/3] =?UTF-8?q?Update=20Storm=E5=92=8C=E6=B5=81=E5=A4=84?= =?UTF-8?q?=E7=90=86=E7=AE=80=E4=BB=8B.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- notes/Storm和流处理简介.md | 14 +++++++------- 1 file changed, 7 insertions(+), 7 deletions(-) diff --git a/notes/Storm和流处理简介.md b/notes/Storm和流处理简介.md index 88c9427..9475971 100644 --- a/notes/Storm和流处理简介.md +++ b/notes/Storm和流处理简介.md @@ -4,7 +4,7 @@ 一、Storm
        1.1 简介
        1.2 Storm 与 Hadoop对比
-        1.3 Storm 与 spark Streaming对比
+        1.3 Storm 与 Spark Streaming对比
        1.4 Storm 与 Flink对比
二、流处理
        2.1 静态数据处理
@@ -16,7 +16,7 @@ #### 1.1 简介 -storm 是一个开源的分布式实时计算系统，可以简单、可靠进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式RPC、ETL等场景。storm具有以下特点： +Storm 是一个开源的分布式实时计算系统，可以简单、可靠进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式RPC、ETL等场景。Storm具有以下特点： + 支持水平横向扩展； + 具有高容错性，通过ACK机制每个消息都不丢失； @@ -33,9 +33,9 @@ Hadoop采用HDFS存储数据，采用MapReduce处理数据。MapReduce主要是 -#### 1.3 Storm 与 spark Streaming对比 +#### 1.3 Storm 与 Spark Streaming对比 -严格意义上说spark Streaming并不是实时计算框架。 Spark Streaming接收实时输入的数据流，并将数据拆分为批处理，由Spark引擎处理后批量生成结果流。只不过 Spark Streaming 能够将数据流按秒级进行拆分，使得其能够得到接近于流处理的效果，但其本质上还是批处理（或微批处理）。 +严格意义上说Spark Streaming并不是实时计算框架。 Spark Streaming接收实时输入的数据流，并将数据拆分为批处理，由Spark引擎处理后批量生成结果流。只不过 Spark Streaming 能够将数据流按秒级进行拆分，使得其能够得到接近于流处理的效果，但其本质上还是批处理（或微批处理）。
@@ -86,11 +86,11 @@ storm和Flink都是真正意义上的实时计算框架。其对比如下： - **应用程序立即对数据做出反应**：降低了数据的滞后性，使得数据更具有时效性，更能反映对未来的预期； -- **流处理可以处理更大的数据量：**直接处理数据流，并且只保留数据中有意义的子集，并将其传送到下一个处理单元，逐级过滤数据，降低需要处理的数据量，从而能够承受更大的数据量； +- **流处理可以处理更大的数据量**：直接处理数据流，并且只保留数据中有意义的子集，并将其传送到下一个处理单元，逐级过滤数据，降低需要处理的数据量，从而能够承受更大的数据量； - **流处理更贴近现实的数据模型**：在实际的环境中，一切数据都是持续变化的，要想能够通过过去的数据推断未来的趋势，必须保证数据的不断输入和模型的不断修正，典型的就是金融市场、股票市场，流处理能更好的应对这些数据的连续性的特征和及时性的需求； -- **流处理分散和分离基础设施：**流式处理减少了对大型数据库的需求。相反，每个流处理程序通过流处理框架维护了自己的数据和状态，这使得流处理程序更适合微服务架构。 +- **流处理分散和分离基础设施**：流式处理减少了对大型数据库的需求。相反，每个流处理程序通过流处理框架维护了自己的数据和状态，这使得流处理程序更适合微服务架构。 @@ -99,4 +99,4 @@ storm和Flink都是真正意义上的实时计算框架。其对比如下： ## 参考资料 1. [What is stream processing?](https://www.ververica.com/what-is-stream-processing) -2. [流计算框架Flink与Storm的性能对比](http://bigdata.51cto.com/art/201711/558416.htm) \ No newline at end of file +2. [流计算框架Flink与Storm的性能对比](http://bigdata.51cto.com/art/201711/558416.htm) From d5d669e99998aa6b7dba092d21d138ccb77e0bff Mon Sep 17 00:00:00 2001 From: heibaiying <31504331+heibaiying@users.noreply.github.com> Date: Tue, 16 Apr 2019 09:09:17 +0800 Subject: [PATCH 2/3] Update README.md --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index d22c4c7..ec3eb93 100644 --- a/README.md +++ b/README.md @@ -73,7 +73,7 @@ TODO ## 五、Storm -1. [Strom和流处理简介](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm和流处理简介.md) +1. [Storm和流处理简介](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Storm和流处理简介.md) 2. [Storm核心概念详解](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Storm核心概念详解.md) 3. [Storm单机版本环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm%E5%8D%95%E6%9C%BA%E7%89%88%E6%9C%AC%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA.md) 4. [Storm编程模型详解](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm编程模型详解.md) From d99fc45d6f3b2fbdc089af81207aa3433758cb39 Mon Sep 17 00:00:00 2001 From: heibaiying <31504331+heibaiying@users.noreply.github.com> Date: Tue, 16 Apr 2019 09:09:59 +0800 Subject: [PATCH 3/3] Update README.md --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index ec3eb93..a9aef49 100644 --- a/README.md +++ b/README.md @@ -76,7 +76,7 @@ TODO 1. [Storm和流处理简介](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Storm和流处理简介.md) 2. [Storm核心概念详解](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Storm核心概念详解.md) 3. [Storm单机版本环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm%E5%8D%95%E6%9C%BA%E7%89%88%E6%9C%AC%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA.md) -4. [Storm编程模型详解](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm编程模型详解.md) +4. [Storm编程模型详解](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Storm编程模型详解.md) ## 六、Flume