diff --git a/README.md b/README.md index 49d823c..440fff2 100644 --- a/README.md +++ b/README.md @@ -40,12 +40,12 @@ Scala +
+## :black_nib: 前 言 - -> 为方便查阅，所有软件的安装步骤统一整理至：[大数据常用软件安装指南](https://github.com/heibaiying/BigData-Notes/blob/master/notes/大数据常用软件安装指南.md) - - +1. [大数据技术栈思维导图](https://github.com/heibaiying/BigData-Notes/blob/master/notes/大数据技术栈思维导图.md) +2. [大数据常用软件安装指南](https://github.com/heibaiying/BigData-Notes/blob/master/notes/大数据常用软件安装指南.md) ## 一、Hadoop @@ -183,6 +183,6 @@ TODO
-## :bookmark_tabs: 后记 +## :bookmark_tabs: 后 记 [资料分享与工具推荐](https://github.com/heibaiying/BigData-Notes/blob/master/notes/资料分享与工具推荐.md) diff --git a/notes/Flume简介及基本使用.md b/notes/Flume简介及基本使用.md index 26c9afb..0abd4af 100644 --- a/notes/Flume简介及基本使用.md +++ b/notes/Flume简介及基本使用.md @@ -43,7 +43,7 @@ Apache Flume是一个分布式，高可用的数据收集系统。它可以从 **3. Channel** -`Channel`是源和接收器之间事件的管道，用于临时存储数据。可以是内存或持久化的文件系统： +`Channel`是源和接收器之间的管道，用于临时存储数据。可以是内存或持久化的文件系统： + `Memory Channel` : 使用内存，优点是速度快，但数据可能会丢失(如突然宕机)； + `File Channel` : 使用持久化的文件系统，优点是能保证数据不丢失，但是速度慢。 @@ -54,7 +54,7 @@ Apache Flume是一个分布式，高可用的数据收集系统。它可以从 **5. Agent** -是一个独立的(JVM)进程，包含组件`Source`、 `Channel`、 `Sink`等组件。 +是一个独立的(JVM)进程，包含`Source`、 `Channel`、 `Sink`等组件。 diff --git a/notes/Hbase简介.md b/notes/Hbase简介.md index 177292f..ab26bea 100644 --- a/notes/Hbase简介.md +++ b/notes/Hbase简介.md @@ -54,7 +54,7 @@ HBase是一个面向`列`的数据库管理系统，这里更为确切的而说
-> 图片引用自博客：HBase 是列式存储数据库吗（https://www.iteblog.com/archives/2498.html） +> *图片引用自 : HBase是列式存储数据库吗* *https://www.iteblog.com/archives/2498.html* Hbase的表具有以下特点： diff --git a/notes/Zookeeper简介及核心概念.md b/notes/Zookeeper简介及核心概念.md index b8c69cd..f781ce1 100644 --- a/notes/Zookeeper简介及核心概念.md +++ b/notes/Zookeeper简介及核心概念.md @@ -8,7 +8,7 @@         3.2 会话
        3.3 数据节点
        3.4 节点信息
-        3.5 Wather
+        3.5 Watcher
        3.6 ACL
四、ZAB协议
        4.1 ZAB协议与数据一致性
@@ -103,7 +103,7 @@ Zookeeper数据模型是由一系列基本数据单元`Znode`(数据节点)组 | dataLength | 数据内容的长度 | | numChildren | 数据节点当前的子节点个数 | -### 3.5 Wather +### 3.5 Watcher Zookeeper中一个常用的功能是Watcher(事件监听器)，它允许用户在指定节点上针对感兴趣的事件注册监听，当事件发生时，监听器会被触发，并将事件信息推送到客户端。该机制是Zookeeper实现分布式协调服务的重要特性。 diff --git a/notes/installation/HBase单机环境搭建.md b/notes/installation/HBase单机环境搭建.md index af6d2e7..8411590 100644 --- a/notes/installation/HBase单机环境搭建.md +++ b/notes/installation/HBase单机环境搭建.md @@ -123,9 +123,7 @@ export JAVA_HOME=/usr/java/jdk1.8.0_201 HBase的版本必须要与Hadoop的版本兼容，不然会出现各种Jar包冲突。这里我Hadoop安装的版本为`hadoop-2.6.0-cdh5.15.2`，为保持版本一致，选择的HBase版本为`hbase-1.2.0-cdh5.15.2` 。所有软件版本如下： + Hadoop 版本： hadoop-2.6.0-cdh5.15.2 - + HBase 版本： hbase-1.2.0-cdh5.15.2 - + JDK 版本：JDK 1.8 diff --git a/notes/大数据常用软件安装指南.md b/notes/大数据常用软件安装指南.md index fff9a77..48d1ed3 100644 --- a/notes/大数据常用软件安装指南.md +++ b/notes/大数据常用软件安装指南.md @@ -1,4 +1,6 @@ -## 大数据环境搭建指南 +## 大数据常用软件安装指南 + +为方便大家查阅，本仓库所有软件的安装方式单独整理如下： ### 一、基础软件安装 @@ -46,3 +48,16 @@ ### 十、Kafka 1. [基于Zookeeper搭建Kafka高可用集群](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/基于Zookeeper搭建Kafka高可用集群.md) + + +### 版本说明 + +由于Apache Hadoop 原有安装包之间兼容性比较差，所以如无特殊需求，本仓库一律选择 **CDH** (Cloudera's Distribution, including Apache Hadoop) 版本的安装包。它基于稳定版本的 Apache Hadoop 构建，并做了兼容性测试，是目前生产环境中使用最为广泛的版本。 + +最新的 CDH 5 的下载地址为：http://archive.cloudera.com/cdh5/cdh/5/ 。这个页面很大且加载速度比较慢，需要耐心等待页面加载完成。上半部分是文档链接，后半部分才是安装包。同一个 CDH 版本的不同框架间都做了集成测试，可以保证没有任何JAR包冲突。安装包包名通常如下所示，这里 CDH 版本都是 `5.15.2` ，前面是各个软件自己的版本 ，未避免出现不必要的JAR包冲突，**请务必保持 CDH 的版本一致**。 + +```hsell +hadoop-2.6.0-cdh5.15.2.tar.gz +hbase-1.2.0-cdh5.15.2 +hive-1.1.0-cdh5.15.2.tar.gz +``` diff --git a/notes/大数据技术栈思维导图.md b/notes/大数据技术栈思维导图.md new file mode 100644 index 0000000..016384c --- /dev/null +++ b/notes/大数据技术栈思维导图.md @@ -0,0 +1,2 @@ +
+ diff --git a/pictures/大数据技术栈思维导图.png b/pictures/大数据技术栈思维导图.png new file mode 100644 index 0000000..c4f4260 Binary files /dev/null and b/pictures/大数据技术栈思维导图.png differ