blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Update Hadoop-MapReduce.md

Browse Source
This commit is contained in:
heibaiying
2019-03-14 14:07:50 +08:00
committed by GitHub
parent cf17652c35
commit b647004213
1 changed files with 13 additions and 12 deletions
Download Patch File Download Diff File Expand all files Collapse all files

25
notes/Hadoop-MapReduce.md
View File

@@ -1,15 +1,16 @@
# 分布式计算框架——MapReduce
<nav>
<a href="#一MapReduce-概述">一、MapReduce 概述</a><br/>
<a href="#二MapReduce-编程模型简述">二、MapReduce 编程模型简述</a><br/>
<a href="#三MapReduce-编程模型详述">三、MapReduce 编程模型详述</a><br/>
&nbsp;&nbsp;&nbsp;&nbsp;<a href="#31-InputFormat-&-RecordReaders">3.1 InputFormat & RecordReaders </a><br/>
&nbsp;&nbsp;&nbsp;&nbsp;<a href="#32-combiner">3.2 combiner</a><br/>
&nbsp;&nbsp;&nbsp;&nbsp;<a href="#33-partitioner">3.3 partitioner</a><br/>
&nbsp;&nbsp;&nbsp;&nbsp;<a href="#34-sort-&-combiner">3.4 sort & combiner</a><br/>
<a href="#四MapReduce-词频统计案例">四、MapReduce 词频统计案例</a><br/>
</nav>
<nav>
<a href="#一MapReduce-概述">一、MapReduce 概述</a><br/>
<a href="#二MapReduce-编程模型简述">二、MapReduce 编程模型简述</a><br/>
<a href="#三MapReduce-编程模型详述">三、MapReduce 编程模型详述</a><br/>
&nbsp;&nbsp;&nbsp;&nbsp;<a href="#31-InputFormat-&-RecordReaders">3.1 InputFormat & RecordReaders </a><br/>
&nbsp;&nbsp;&nbsp;&nbsp;<a href="#32-combiner">3.2 combiner</a><br/>
&nbsp;&nbsp;&nbsp;&nbsp;<a href="#33-partitioner">3.3 partitioner</a><br/>
&nbsp;&nbsp;&nbsp;&nbsp;<a href="#34-sort-&-combiner">3.4 sort & combiner</a><br/>
<a href="#四MapReduce-词频统计案例">四、MapReduce 词频统计案例</a><br/>
</nav>
## 一、MapReduce 概述
Hadoop MapReduce是一个分布式计算框架，用于编写应用程序，以可靠，容错的方式在大型集群上并行处理大量数据（多为TB级别数据集）。
@@ -80,7 +81,7 @@ combiner是map运算后的可选操作，其实际上是一个本地化的reduce
但并非所有场景都适合使用combiner，使用它的原则是combiner的输入不会影响到reduce计算的最终输入，例如：如果计算只是求总数，最大值，最小值可以使用combiner，但是做平均值计算使用combiner的话，最终的reduce计算结果就会出错。
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/mapreduce-combiner.png"/> </div>
### 3.3 partitioner