blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

modify

Browse Source
This commit is contained in:
luoxiang
2019-06-02 08:49:19 +08:00
parent 52e93743f6
commit ef63a1ac54
4 changed files with 12 additions and 10 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
notes/installation/Hadoop集群环境搭建.md
View File

@ -211,10 +211,14 @@ start-yarn.sh
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hadoop-集群环境搭建.png"/> </div>
<BR/>
点击`Live Nodes`进入，可以看到每个`DataNode`的详细情况：
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hadoop-集群搭建2.png"/> </div>
<BR/>
接着可以查看Yarn集群的情况，端口号为`8088` ：
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hadoop-集群搭建3.png"/> </div>

6
notes/installation/Spark集群环境搭建.md
View File

@ -163,14 +163,16 @@ start-master.sh
## 五、验证集群高可用
此时可以使用`kill`命令杀死hadoop001上的`Master`进程，此时`备用Master`会中会有一个再次成为`主Master`，我这里是hadoop002，可以看到hadoop2上的`Master`经过`RECOVERING`后成为了新的`主Master`，并且获得了全部可以用的`Workers`。此时如果你再在hadoop001上使用`start-master.sh`启动Master，那么其会作为`备用Master`存在。
此时可以使用`kill`命令杀死hadoop001上的`Master`进程，此时备用`Master`会中会有一个再次成为`主Master`，我这里是hadoop002，可以看到hadoop2上的`Master`经过`RECOVERING`后成为了新的主`Master`，并且获得了全部可以用的`Workers`。
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-集群搭建4.png"/> </div>
Hadoop002上的`Master`成为`主Master`，并获得了全部可以用的`Workers`。
Hadoop002上的`Master`成为主`Master`，并获得了全部可以用的`Workers`。
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-集群搭建5.png"/> </div>
此时如果你再在hadoop001上使用`start-master.sh`启动Master服务，那么其会作为备用`Master`存在。
## 六、提交作业
和单机环境下的提交到Yarn上的命令完全一致，这里以Spark内置的计算Pi的样例程序为例，提交命令如下：