From 118a0a64b7108d967570132024f8888230013fa7 Mon Sep 17 00:00:00 2001 From: luoxiang <2806718453@qq.com> Date: Sun, 2 Jun 2019 08:36:23 +0800 Subject: [PATCH] =?UTF-8?q?=E9=9B=86=E7=BE=A4=E9=83=A8=E7=BD=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 2 +- ...nux中大数据常用软件安装指南.md | 19 ++- ...搭建.md => HBase单机环境搭建.md} | 0 notes/installation/HBase集群环境搭建.md | 34 +++-- .../installation/Hadoop单机环境搭建.md | 120 ++++++++++-------- .../installation/Hadoop集群环境搭建.md | 31 ++++- notes/installation/Spark集群环境搭建.md | 34 +++-- notes/installation/Storm集群环境搭建.md | 62 ++++++--- 8 files changed, 192 insertions(+), 110 deletions(-) rename notes/installation/{Hbase基本环境搭建.md => HBase单机环境搭建.md} (100%) diff --git a/README.md b/README.md index 37dbd20..0072eeb 100644 --- a/README.md +++ b/README.md @@ -115,7 +115,7 @@ TODO 1. [Hbase 简介](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hbase简介.md) 2. [HBase系统架构及数据结构](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hbase系统架构及数据结构.md) -3. [HBase基本环境搭建(Standalone /pseudo-distributed mode)](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/HBase基本环境搭建.md) +3. [HBase基本环境搭建(Standalone /pseudo-distributed mode)](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/HBase单机环境搭建.md) 4. [HBase集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/HBase集群环境搭建.md) 5. [HBase常用Shell命令](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hbase_Shell.md) 6. [HBase Java API](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hbase_Java_API.md) diff --git a/notes/Linux中大数据常用软件安装指南.md b/notes/Linux中大数据常用软件安装指南.md index c50af6c..b552145 100644 --- a/notes/Linux中大数据常用软件安装指南.md +++ b/notes/Linux中大数据常用软件安装指南.md @@ -7,28 +7,27 @@ ### 二、Hadoop -1. [Hadoop单机版本环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/hadoop单机版本环境搭建.md) +1. [Hadoop单机环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hadoop单机环境搭建.md) -2. Hadoop集群环境搭建 -3. 基于Zookeeper搭建Hadoop的HA集群 +2. [Hadoop集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hadoop集群环境搭建.md) ### 三、Spark -1. [Spark单机版本环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Spark单机版本环境搭建.md) +1. [Spark开发环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/SparkSpark开发环境搭建.md) -2. Spark集群环境搭建 +2. [基于Zookeeper搭建Spark高可用集群](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/SparkSpark集群环境搭建.md) ### 四、Storm -1. [Storm单机版本环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm单机版本环境搭建.md) +1. [Storm单机环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm单机环境搭建.md) -2. Storm集群环境搭建 +2. [Storm集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Storm集群环境搭建.md) -### 五、Hbase +### 五、HBase -1. [Hbase基本环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hbase基本环境搭建.md) +1. [Hbase单机环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hbase单机环境搭建.md) -2. Hbase集群环境搭建 +2. [Hbase集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Hbase集群环境搭建.md) ### 六、Flume diff --git a/notes/installation/Hbase基本环境搭建.md b/notes/installation/HBase单机环境搭建.md similarity index 100% rename from notes/installation/Hbase基本环境搭建.md rename to notes/installation/HBase单机环境搭建.md diff --git a/notes/installation/HBase集群环境搭建.md b/notes/installation/HBase集群环境搭建.md index cc76b96..1984f75 100644 --- a/notes/installation/HBase集群环境搭建.md +++ b/notes/installation/HBase集群环境搭建.md @@ -1,14 +1,32 @@ # HBase集群环境配置 + + + + ## 一、集群规划 -这里搭建一个3节点的HBase集群，其中三台主机上均为`Regin Server`。同时为了保证高可用，除了在hadoop001上部署主`Master`服务外，还在hadoop002上署备用的`Master`服务，Master服务由Zookeeper集群进行协调管理，如果主`Master`不可用，则备用`Master`会成为新的主`Master`。 +这里搭建一个3节点的HBase集群，其中三台主机上均为`Regin Server`。同时为了保证高可用，除了在hadoop001上部署主`Master`服务外，还在hadoop002上部署备用的`Master`服务。Master服务由Zookeeper集群进行协调管理，如果主`Master`不可用，则备用`Master`会成为新的主`Master`。 -![hbase集群规划](D:\BigData-Notes\pictures\hbase集群规划.png) +
## 二、前置条件 -HBase的运行需要依赖JDK和Hadoop，HBase 2.0+需要安装JDK 1.8+ 。同时为了保证高可用，这里我们不采用HBase内置的Zookeeper，而采用外置的Zookeeper集群。相关搭建步骤可以参阅： +HBase的运行需要依赖Hadoop和JDK(`HBase 2.0+`对应`JDK 1.8+`) 。同时为了保证高可用，这里我们不采用HBase内置的Zookeeper服务，而采用外置的Zookeeper集群。相关搭建步骤可以参阅： - [Linux环境下JDK安装](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Linux下JDK安装.md) - [Zookeeper单机环境和集群环境搭建](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Zookeeper单机环境和集群环境搭建.md) @@ -20,10 +38,10 @@ HBase的运行需要依赖JDK和Hadoop，HBase 2.0+需要安装JDK 1.8+ 。同 ### 3.1 下载并解压 -下载并解压，官方下载地址：https://hbase.apache.org/downloads.html +下载并解压，这里我下载的是CDH版本HBase，下载地址为：http://archive.cloudera.com/cdh5/cdh/5/ ```shell -# tar -zxvf hbase-2.1.4-bin.tar.gz +# tar -zxvf hbase-1.2.0-cdh5.15.2.tar.gz ``` ### 3.2 配置环境变量 @@ -35,7 +53,7 @@ HBase的运行需要依赖JDK和Hadoop，HBase 2.0+需要安装JDK 1.8+ 。同 添加环境变量： ```shell -export HBASE_HOME=/usr/app/hbase-2.1.4 +export HBASE_HOME=usr/app/hbase-1.2.0-cdh5.15.2 export PATH=$HBASE_HOME/bin:$PATH ``` @@ -172,7 +190,7 @@ start-hbase.sh 访问HBase的Web-UI界面，这里我安装的HBase版本为1.2，访问端口为`60010`，如果你安装的是2.0以上的版本，则访问端口号为`16010`。可以看到`Master`在hadoop001上，三个`Regin Servers`分别在hadoop001，hadoop002，和hadoop003上，并且还有一个`Backup Matser` 服务在 hadoop002上。 -![hbase-集群搭建1](D:\BigData-Notes\pictures\hbase-集群搭建1.png) +

@@ -180,4 +198,4 @@ hadoop002 上的 HBase出于备用状态：
-![hbase-集群搭建2](D:\BigData-Notes\pictures\hbase-集群搭建2.png) \ No newline at end of file +
\ No newline at end of file diff --git a/notes/installation/Hadoop单机环境搭建.md b/notes/installation/Hadoop单机环境搭建.md index d31db7a..fee6d27 100644 --- a/notes/installation/Hadoop单机环境搭建.md +++ b/notes/installation/Hadoop单机环境搭建.md @@ -1,17 +1,7 @@ # Hadoop单机版环境搭建 - - ->系统环境：centos 7.6 -> ->JDK版本：jdk 1.8.0_20 -> ->Hadoop版本：hadoop-2.6.0-cdh5.15.2 - - -