blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

将导航和图片路径转换为相对路径

Browse Source
This commit is contained in:
罗祥
2019-11-14 17:36:14 +08:00
parent e84d335a48
commit 33525c5b4b
187 changed files with 505 additions and 26825 deletions
Download Patch File Download Diff File Expand all files Collapse all files

24
notes/Hadoop-HDFS.md
View File

@@ -35,7 +35,7 @@
## 二、HDFS 设计原理
<div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfsarchitecture.png"/> </div>
<div align="center"> <img width="600px" src="../pictures/hdfsarchitecture.png"/> </div>
### 2.1 HDFS 架构
@@ -56,7 +56,7 @@ HDFS 的 ` 文件系统命名空间 ` 的层次结构与大多数文件系统类
由于 Hadoop 被设计运行在廉价的机器上，这意味着硬件是不可靠的，为了保证容错性，HDFS 提供了数据复制机制。HDFS 将每一个文件存储为一系列**块**，每个块由多个副本来保证容错，块的大小和复制因子可以自行配置（默认情况下，块大小是 128M，默认复制因子是 3）。
<div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfsdatanodes.png"/> </div>
<div align="center"> <img width="600px" src="../pictures/hdfsdatanodes.png"/> </div>
### 2.4 数据复制的实现原理
@@ -64,7 +64,7 @@ HDFS 的 ` 文件系统命名空间 ` 的层次结构与大多数文件系统类
在写入程序位于 `datanode` 上时，就优先将写入文件的一个副本放置在该 `datanode` 上，否则放在随机 `datanode` 上。之后在另一个远程机架上的任意一个节点上放置另一个副本，并在该机架上的另一个节点上放置最后一个副本。此策略可以减少机架间的写入流量，从而提高写入性能。
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-机架.png"/> </div>
<div align="center"> <img src="../pictures/hdfs-机架.png"/> </div>
如果复制因子大于 3，则随机确定第 4 个和之后副本的放置位置，同时保持每个机架的副本数量低于上限，上限值通常为 `（复制系数 - 1）/机架数量 + 2`，需要注意的是不允许同一个 `dataNode` 上具有同一个块的多个副本。
@@ -128,43 +128,43 @@ HDFS 具有良好的跨平台移植性，这使得其他大数据计算框架都
### 1. HDFS写数据原理
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-write-1.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-write-1.jpg"/> </div>
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-write-2.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-write-2.jpg"/> </div>
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-write-3.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-write-3.jpg"/> </div>
### 2. HDFS读数据原理
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-read-1.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-read-1.jpg"/> </div>
### 3. HDFS故障类型和其检测方法
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-tolerance-1.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-tolerance-1.jpg"/> </div>
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-tolerance-2.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-tolerance-2.jpg"/> </div>
**第二部分：读写故障的处理**
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-tolerance-3.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-tolerance-3.jpg"/> </div>
**第三部分：DataNode 故障处理**
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-tolerance-4.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-tolerance-4.jpg"/> </div>
**副本布局策略**：
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/hdfs-tolerance-5.jpg"/> </div>
<div align="center"> <img src="../pictures/hdfs-tolerance-5.jpg"/> </div>