Merge branch 'master' of github.com:heibaiying/BigData-Notes

README.md

@@ -40,12 +40,12 @@
       <td align="center"><a href="#十二scala">Scala</a></td>
     </tr>
   </table>
+<br/>
 
+## :black_nib: 前  言
 
-
-> 为方便查阅，所有软件的安装步骤统一整理至：[大数据常用软件安装指南](https://github.com/heibaiying/BigData-Notes/blob/master/notes/大数据常用软件安装指南.md)
-
-
+1. [大数据技术栈思维导图](https://github.com/heibaiying/BigData-Notes/blob/master/notes/大数据技术栈思维导图.md)        
+2. [大数据常用软件安装指南](https://github.com/heibaiying/BigData-Notes/blob/master/notes/大数据常用软件安装指南.md)
 
 ## 一、Hadoop
 

notes/Flume简介及基本使用.md

@@ -43,7 +43,7 @@ Apache Flume是一个分布式，高可用的数据收集系统。它可以从
 
 **3. Channel**
 
-`Channel`是源和接收器之间事件的管道，用于临时存储数据。可以是内存或持久化的文件系统：
+`Channel`是源和接收器之间的管道，用于临时存储数据。可以是内存或持久化的文件系统：
 
 + `Memory Channel` : 使用内存，优点是速度快，但数据可能会丢失(如突然宕机)；
 + `File Channel` : 使用持久化的文件系统，优点是能保证数据不丢失，但是速度慢。
@@ -54,7 +54,7 @@ Apache Flume是一个分布式，高可用的数据收集系统。它可以从
 
 **5. Agent**
 
-是一个独立的(JVM)进程，包含组件`Source`、 `Channel`、 `Sink`等组件。
+是一个独立的(JVM)进程，包含`Source`、 `Channel`、 `Sink`等组件。
 
 
 

notes/Hbase简介.md

@@ -54,7 +54,7 @@ HBase是一个面向`列`的数据库管理系统，这里更为确切的而说
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/HBase_table-iteblog.png"/> </div>
 
-> 图片引用自博客：HBase 是列式存储数据库吗（https://www.iteblog.com/archives/2498.html）
+> *图片引用自 : HBase是列式存储数据库吗* *https://www.iteblog.com/archives/2498.html*
 
 Hbase的表具有以下特点：
 

notes/Zookeeper简介及核心概念.md

@@ -8,7 +8,7 @@
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#32-会话">3.2 会话</a><br/>
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#33-数据节点">3.3 数据节点</a><br/>
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#34-节点信息">3.4 节点信息</a><br/>
-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#35-Wather">3.5 Wather</a><br/>
+&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#35-Watcher">3.5 Watcher</a><br/>
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#36-ACL">3.6 ACL</a><br/>
 <a href="#四ZAB协议">四、ZAB协议</a><br/>
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#41-ZAB协议与数据一致性">4.1 ZAB协议与数据一致性</a><br/>
@@ -103,7 +103,7 @@ Zookeeper数据模型是由一系列基本数据单元`Znode`(数据节点)组
 | dataLength     | 数据内容的长度                                               |
 | numChildren    | 数据节点当前的子节点个数                                     |
 
-### 3.5 Wather
+### 3.5 Watcher
 
 Zookeeper中一个常用的功能是Watcher(事件监听器)，它允许用户在指定节点上针对感兴趣的事件注册监听，当事件发生时，监听器会被触发，并将事件信息推送到客户端。该机制是Zookeeper实现分布式协调服务的重要特性。
 

notes/installation/HBase单机环境搭建.md

@@ -123,9 +123,7 @@ export JAVA_HOME=/usr/java/jdk1.8.0_201
 HBase的版本必须要与Hadoop的版本兼容，不然会出现各种Jar包冲突。这里我Hadoop安装的版本为`hadoop-2.6.0-cdh5.15.2`，为保持版本一致，选择的HBase版本为`hbase-1.2.0-cdh5.15.2` 。所有软件版本如下：
 
 + Hadoop 版本： hadoop-2.6.0-cdh5.15.2
-
 + HBase 版本： hbase-1.2.0-cdh5.15.2
-
 + JDK 版本：JDK 1.8
 
 

notes/大数据常用软件安装指南.md

@@ -1,4 +1,6 @@
-## 大数据环境搭建指南
+## 大数据常用软件安装指南
+
+为方便大家查阅，本仓库所有软件的安装方式单独整理如下：
 
 ### 一、基础软件安装
 
@@ -46,3 +48,16 @@
 ### 十、Kafka
 
 1. [基于Zookeeper搭建Kafka高可用集群](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/基于Zookeeper搭建Kafka高可用集群.md)
+
+
+### 版本说明
+
+由于Apache Hadoop 原有安装包之间兼容性比较差，所以如无特殊需求，本仓库一律选择 **CDH** (Cloudera's Distribution, including Apache Hadoop) 版本的安装包。它基于稳定版本的 Apache Hadoop 构建，并做了兼容性测试，是目前生产环境中使用最为广泛的版本。
+
+最新的 CDH 5 的下载地址为：http://archive.cloudera.com/cdh5/cdh/5/  。这个页面很大且加载速度比较慢，需要耐心等待页面加载完成。上半部分是文档链接，后半部分才是安装包。同一个 CDH 版本的不同框架间都做了集成测试，可以保证没有任何JAR包冲突。安装包包名通常如下所示，这里 CDH 版本都是 `5.15.2`  ，前面是各个软件自己的版本 ，未避免出现不必要的JAR包冲突，**请务必保持 CDH 的版本一致**。
+
+```hsell
+hadoop-2.6.0-cdh5.15.2.tar.gz 
+hbase-1.2.0-cdh5.15.2
+hive-1.1.0-cdh5.15.2.tar.gz
+```

notes/大数据技术栈思维导图.md

@@ -0,0 +1,2 @@
+<div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/大数据技术栈思维导图.png"/> </div>
+