优化阅读格式

This commit is contained in:
heibaiying
2019-07-31 17:18:07 +08:00
parent ceb868fe13
commit ca7c99802b
91 changed files with 4059 additions and 4058 deletions

View File

@ -16,7 +16,7 @@
## 一、 数据准备
本文主要介绍Spark SQL的多表连接需要预先准备测试数据。分别创建员工和部门的Datafame并注册为临时视图代码如下
本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据。分别创建员工和部门的 Datafame并注册为临时视图代码如下
```scala
val spark = SparkSession.builder().appName("aggregations").master("local[2]").getOrCreate()
@ -31,7 +31,7 @@ deptDF.createOrReplaceTempView("dept")
两表的主要字段如下:
```properties
emp员工表
emp 员工表
|-- ENAME: 员工姓名
|-- DEPTNO: 部门编号
|-- EMPNO: 员工编号
@ -43,19 +43,19 @@ emp员工表
```
```properties
dept部门表
dept 部门表
|-- DEPTNO: 部门编号
|-- DNAME: 部门名称
|-- LOC: 部门所在城市
```
> emp.jsondept.json可以在本仓库的[resources](https://github.com/heibaiying/BigData-Notes/tree/master/resources)目录进行下载。
> emp.jsondept.json 可以在本仓库的[resources](https://github.com/heibaiying/BigData-Notes/tree/master/resources) 目录进行下载。
## 二、连接类型
Spark中支持多种连接类型
Spark 中支持多种连接类型:
+ **Inner Join** : 内连接;
+ **Full Outer Join** : 全外连接;
@ -64,23 +64,23 @@ Spark中支持多种连接类型
+ **Left Semi Join** : 左半连接;
+ **Left Anti Join** : 左反连接;
+ **Natural Join** : 自然连接;
+ **Cross (or Cartesian) Join** : 交叉(或笛卡尔)连接。
+ **Cross (or Cartesian) Join** : 交叉 (或笛卡尔) 连接。
其中内,外连接,笛卡尔积均与普通关系型数据库中的相同,如下图所示:
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/sql-join.jpg"/> </div>
这里解释一下左半连接和左反连接,这两个连接等价于关系型数据库中的`IN``NOT IN`字句:
这里解释一下左半连接和左反连接,这两个连接等价于关系型数据库中的 `IN``NOT IN` 字句:
```sql
-- LEFT SEMI JOIN
SELECT * FROM emp LEFT SEMI JOIN dept ON emp.deptno = dept.deptno
-- 等价于如下的IN语句
-- 等价于如下的 IN 语句
SELECT * FROM emp WHERE deptno IN (SELECT deptno FROM dept)
-- LEFT ANTI JOIN
SELECT * FROM emp LEFT ANTI JOIN dept ON emp.deptno = dept.deptno
-- 等价于如下的IN语句
-- 等价于如下的 IN 语句
SELECT * FROM emp WHERE deptno NOT IN (SELECT deptno FROM dept)
```
@ -94,7 +94,7 @@ val joinExpression = empDF.col("deptno") === deptDF.col("deptno")
// 2.连接查询
empDF.join(deptDF,joinExpression).select("ename","dname").show()
// 等价SQL如下
// 等价 SQL 如下:
spark.sql("SELECT ename,dname FROM emp JOIN dept ON emp.deptno = dept.deptno").show()
```
@ -148,7 +148,7 @@ spark.sql("SELECT * FROM emp CROSS JOIN dept ON emp.deptno = dept.deptno").show(
spark.sql("SELECT * FROM emp NATURAL JOIN dept").show()
```
以下是一个自然连接的查询结果程序自动推断出使用两张表都存在的dept列进行连接其实际等价于
以下是一个自然连接的查询结果,程序自动推断出使用两张表都存在的 dept 列进行连接,其实际等价于:
```sql
spark.sql("SELECT * FROM emp JOIN dept ON emp.deptno = dept.deptno").show()
@ -162,17 +162,17 @@ spark.sql("SELECT * FROM emp JOIN dept ON emp.deptno = dept.deptno").show()
## 三、连接的执行
在对大表与大表之间进行连接操作时,通常都会触发`Shuffle Join`,两表的所有分区节点会进行`All-to-All`的通讯这种查询通常比较昂贵会对网络IO会造成比较大的负担。
在对大表与大表之间进行连接操作时,通常都会触发 `Shuffle Join`,两表的所有分区节点会进行 `All-to-All` 的通讯,这种查询通常比较昂贵,会对网络 IO 会造成比较大的负担。
<div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-Big-tabletobig-table.png"/> </div>
而对于大表和小表的连接操作Spark会在一定程度上进行优化如果小表的数据量小于Worker Node的内存空间Spark会考虑将小表的数据广播到每一个Worker Node在每个工作节点内部执行连接计算这可以降低网络的IO但会加大每个Worker NodeCPU负担。
而对于大表和小表的连接操作Spark 会在一定程度上进行优化,如果小表的数据量小于 Worker Node 的内存空间Spark 会考虑将小表的数据广播到每一个 Worker Node在每个工作节点内部执行连接计算这可以降低网络的 IO但会加大每个 Worker NodeCPU 负担。
<div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-Big-tabletosmall-table.png"/> </div>
是否采用广播方式进行`Join`取决于程序内部对小表的判断,如果想明确使用广播方式进行`Join`则可以在DataFrame API 中使用`broadcast`方法指定需要广播的小表:
是否采用广播方式进行 `Join` 取决于程序内部对小表的判断,如果想明确使用广播方式进行 `Join`,则可以在 DataFrame API 中使用 `broadcast` 方法指定需要广播的小表:
```scala
empDF.join(broadcast(deptDF), joinExpression).show()
@ -182,4 +182,4 @@ empDF.join(broadcast(deptDF), joinExpression).show()
## 参考资料
1. Matei Zaharia, Bill Chambers . Spark: The Definitive Guide[M] . 2018-02
1. Matei Zaharia, Bill Chambers . Spark: The Definitive Guide[M] . 2018-02