From f1c74d38a21c306f7f503dbf916873e2f530bbf4 Mon Sep 17 00:00:00 2001
From: heibaiying <31504331+heibaiying@users.noreply.github.com>
Date: Sun, 19 May 2019 21:36:01 +0800
Subject: [PATCH 1/3] =?UTF-8?q?Update=20Spark=E9=83=A8=E7=BD=B2=E6=A8=A1?=
=?UTF-8?q?=E5=BC=8F=E4=B8=8E=E4=BD=9C=E4=B8=9A=E6=8F=90=E4=BA=A4.md?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
notes/Spark部署模式与作业提交.md | 3 ++-
1 file changed, 2 insertions(+), 1 deletion(-)
diff --git a/notes/Spark部署模式与作业提交.md b/notes/Spark部署模式与作业提交.md
index 33fe136..eb1462d 100644
--- a/notes/Spark部署模式与作业提交.md
+++ b/notes/Spark部署模式与作业提交.md
@@ -12,7 +12,7 @@
### 1.1 spark-submit
-Spark所有模式均通过使用` spark-submit`提交作业，其命令格式如下：
+Spark所有模式均通过使用`spark-submit`提交作业，其命令格式如下：
```shell
./bin/spark-submit \
@@ -174,6 +174,7 @@ check your cluster UI to ensure that workers are registered and have sufficient
+
关于Master和Woker节点的所有可选配置如下，可以在`spark-env.sh`进行对应的配置：
| Environment Variable（环境变量） | Meaning（含义） |
From 86499fd88515eff6c691b084f130637661618b8d Mon Sep 17 00:00:00 2001
From: heibaiying <31504331+heibaiying@users.noreply.github.com>
Date: Sun, 19 May 2019 21:38:32 +0800
Subject: [PATCH 2/3] =?UTF-8?q?Update=20Spark=E9=83=A8=E7=BD=B2=E6=A8=A1?=
=?UTF-8?q?=E5=BC=8F=E4=B8=8E=E4=BD=9C=E4=B8=9A=E6=8F=90=E4=BA=A4.md?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
notes/Spark部署模式与作业提交.md | 5 ++---
1 file changed, 2 insertions(+), 3 deletions(-)
diff --git a/notes/Spark部署模式与作业提交.md b/notes/Spark部署模式与作业提交.md
index eb1462d..e7ebf83 100644
--- a/notes/Spark部署模式与作业提交.md
+++ b/notes/Spark部署模式与作业提交.md
@@ -172,10 +172,9 @@ check your cluster UI to ensure that workers are registered and have sufficient
这时候可以查看Web UI，我这里是内存空间不足：提交命令中要求作业的`executor-memory`是2G，但是实际的工作节点的`Memory`只有1G，这时候你可以修改`--executor-memory`，也可以修改 Woker 的`Memory`，其默认值为主机所有可用内存值减去1G。
-
+
-
-关于Master和Woker节点的所有可选配置如下，可以在`spark-env.sh`进行对应的配置：
+关于Master和Woker节点的所有可选配置如下，可以在`spark-env.sh`中进行对应的配置：
| Environment Variable（环境变量） | Meaning（含义） |
| -------------------------------- | ------------------------------------------------------------ |
From 48f4db8a6d53640c065645e231de4910a0d4517f Mon Sep 17 00:00:00 2001
From: heibaiying <31504331+heibaiying@users.noreply.github.com>
Date: Sun, 19 May 2019 21:40:18 +0800
Subject: [PATCH 3/3] =?UTF-8?q?Update=20Spark=E7=AE=80=E4=BB=8B.md?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
notes/Spark简介.md | 31 ++++++++++++++++---------------
1 file changed, 16 insertions(+), 15 deletions(-)
diff --git a/notes/Spark简介.md b/notes/Spark简介.md
index dc1d127..20baed8 100644
--- a/notes/Spark简介.md
+++ b/notes/Spark简介.md
@@ -1,16 +1,17 @@
# Spark简介
-
-
+
+
+
## 一、简介
Spark于2009年诞生于加州大学伯克利分校AMPLab。2013年，该项目被捐赠给Apache软件基金会。2014年2月，成为Apache的顶级项目。相对于MapReduce上的批处理计算，Spark可以带来上百倍的性能提升，因此它成为继MapReduce之后，最为广泛使用的计算框架。
@@ -31,7 +32,7 @@ Spark于2009年诞生于加州大学伯克利分校AMPLab。2013年，该项目
+ 多数据源支持：支持访问HDFS，Alluxio，Cassandra，HBase，Hive以及数百个其他数据源中的数据。
-
+
## 三、集群架构
@@ -56,7 +57,7 @@ Spark于2009年诞生于加州大学伯克利分校AMPLab。2013年，该项目
Spark基于Spark Core扩展了四个核心组件，分别用于满足不同领域的计算需求。
-
+
### 3.1 Spark SQL
@@ -94,4 +95,4 @@ MLlib是Spark的机器学习库。其设计目标是使得机器学习变得简
GraphX是Spark中用于图形计算和图形并行计算的新组件。在高层次上，GraphX通过引入一个新的图形抽象来扩展 RDD：一种具有附加到每个顶点和边缘的属性的定向多重图形。为了支持图计算，GraphX提供了一组基本运算符（如： subgraph，joinVertices 和 aggregateMessages）以及优化后的Pregel API。此外，GraphX 还包括越来越多的图形算法和构建器，以简化图形分析任务。
-##
\ No newline at end of file
+##
