blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Merge branch 'master' of github.com:heibaiying/BigData-Notes

Browse Source
This commit is contained in:
罗祥 2019-05-19 21:43:35 +08:00
commit 76f32cf09a
2 changed files with 19 additions and 18 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

7
notes/Spark简介.md
View File

@ -1,5 +1,6 @@
# Spark简介
<nav>
<nav>
<a href="#一简介">一、简介</a><br/>
<a href="#二特点">二、特点</a><br/>
<a href="#三集群架构">三、集群架构</a><br/>
@ -31,7 +32,7 @@ Spark于2009年诞生于加州大学伯克利分校AMPLab。2013年，该项目
+ 多数据源支持：支持访问HDFS，Alluxio，Cassandra，HBase，Hive以及数百个其他数据源中的数据。
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/future-of-spark.png"/> </div>
<div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/future-of-spark.png"/> </div>
## 三、集群架构
@ -56,7 +57,7 @@ Spark于2009年诞生于加州大学伯克利分校AMPLab。2013年，该项目
Spark基于Spark Core扩展了四个核心组件，分别用于满足不同领域的计算需求。
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-stack.png"/> </div>
<div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-stack.png"/> </div>
### 3.1 Spark SQL

4
notes/Spark部署模式与作业提交.md
View File

@ -12,7 +12,7 @@
### 1.1 spark-submit
Spark所有模式均通过使用` spark-submit`提交作业，其命令格式如下：
Spark所有模式均通过使用`spark-submit`提交作业，其命令格式如下：
```shell
./bin/spark-submit \
@ -174,7 +174,7 @@ check your cluster UI to ensure that workers are registered and have sufficient
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-内存不足.png"/> </div>
关于Master和Woker节点的所有可选配置如下，可以在`spark-env.sh`进行对应的配置：
关于Master和Woker节点的所有可选配置如下，可以在`spark-env.sh`中进行对应的配置：
| Environment Variable（环境变量） | Meaning（含义） |
| -------------------------------- | ------------------------------------------------------------ |