From ef63a1ac54828420afa8d58ad63c65c509fd983d Mon Sep 17 00:00:00 2001 From: luoxiang <2806718453@qq.com> Date: Sun, 2 Jun 2019 08:49:19 +0800 Subject: [PATCH] modify --- README.md | 2 +- notes/installation/Hadoop集群环境搭建.md | 4 ++++ notes/installation/Spark集群环境搭建.md | 6 ++++-- ...指南.md => 大数据常用软件安装指南.md} | 10 +++------- 4 files changed, 12 insertions(+), 10 deletions(-) rename notes/{Linux中大数据常用软件安装指南.md => 大数据常用软件安装指南.md} (83%) diff --git a/README.md b/README.md index 0072eeb..37bcca7 100644 --- a/README.md +++ b/README.md @@ -43,7 +43,7 @@ -> 为方便查阅，所有软件的安装步骤统一整理至：[Linux下大数据常用软件安装指南](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Linux中大数据常用软件安装指南.md) +> 为方便查阅，所有软件的安装步骤统一整理至：[大数据常用软件安装指南](https://github.com/heibaiying/BigData-Notes/blob/master/notes/大数据常用软件安装指南.md) diff --git a/notes/installation/Hadoop集群环境搭建.md b/notes/installation/Hadoop集群环境搭建.md index 0ae841a..bd77ea1 100644 --- a/notes/installation/Hadoop集群环境搭建.md +++ b/notes/installation/Hadoop集群环境搭建.md @@ -211,10 +211,14 @@ start-yarn.sh
+
+ 点击`Live Nodes`进入，可以看到每个`DataNode`的详细情况：
+
+ 接着可以查看Yarn集群的情况，端口号为`8088` ：
diff --git a/notes/installation/Spark集群环境搭建.md b/notes/installation/Spark集群环境搭建.md index 19e8940..f99a49b 100644 --- a/notes/installation/Spark集群环境搭建.md +++ b/notes/installation/Spark集群环境搭建.md @@ -163,14 +163,16 @@ start-master.sh ## 五、验证集群高可用 -此时可以使用`kill`命令杀死hadoop001上的`Master`进程，此时`备用Master`会中会有一个再次成为`主Master`，我这里是hadoop002，可以看到hadoop2上的`Master`经过`RECOVERING`后成为了新的`主Master`，并且获得了全部可以用的`Workers`。此时如果你再在hadoop001上使用`start-master.sh`启动Master，那么其会作为`备用Master`存在。 +此时可以使用`kill`命令杀死hadoop001上的`Master`进程，此时备用`Master`会中会有一个再次成为`主Master`，我这里是hadoop002，可以看到hadoop2上的`Master`经过`RECOVERING`后成为了新的主`Master`，并且获得了全部可以用的`Workers`。
-Hadoop002上的`Master`成为`主Master`，并获得了全部可以用的`Workers`。 +Hadoop002上的`Master`成为主`Master`，并获得了全部可以用的`Workers`。
+此时如果你再在hadoop001上使用`start-master.sh`启动Master服务，那么其会作为备用`Master`存在。 + ## 六、提交作业 和单机环境下的提交到Yarn上的命令完全一致，这里以Spark内置的计算Pi的样例程序为例，提交命令如下： diff --git a/notes/Linux中大数据常用软件安装指南.md b/notes/大数据常用软件安装指南.md similarity index 83% rename from notes/Linux中大数据常用软件安装指南.md rename to notes/大数据常用软件安装指南.md index b552145..5d1d9c8 100644 --- a/notes/Linux中大数据常用软件安装指南.md +++ b/notes/大数据常用软件安装指南.md @@ -8,26 +8,22 @@ ### 二、Hadoop 1. [Hadoop单机环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hadoop单机环境搭建.md) - 2. [Hadoop集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hadoop集群环境搭建.md) ### 三、Spark 1. [Spark开发环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/SparkSpark开发环境搭建.md) - -2. [基于Zookeeper搭建Spark高可用集群](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/SparkSpark集群环境搭建.md) +2. [基于Zookeeper搭建Spark高可用集群](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Spark集群环境搭建.md) ### 四、Storm 1. [Storm单机环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm单机环境搭建.md) - 2. [Storm集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm集群环境搭建.md) ### 五、HBase -1. [Hbase单机环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hbase单机环境搭建.md) - -2. [Hbase集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hbase集群环境搭建.md) +1. [HBase单机环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/HBase单机环境搭建.md) +2. [HBase集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/HBase集群环境搭建.md) ### 六、Flume