diff --git a/README.md b/README.md index c383d6b..ec82e1f 100644 --- a/README.md +++ b/README.md @@ -60,13 +60,14 @@ 1. [数据仓库Hive简介](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive.md) 2. [Linux环境下Hive的安装部署](https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Linux%E7%8E%AF%E5%A2%83%E4%B8%8BHive%E7%9A%84%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2.md) -3. [Hive Shell基本使用](https://github.com/heibaiying/BigData-Notes/blob/master/notes/HiveShell基本使用.md) -4. [Hive 核心概念讲解](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive核心概念讲解.md) -5. [Hive 分区表和分桶表](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive分区表和分桶表.md) +3. 连接Hive的三种方式 +4. [Hive Shell基本使用](https://github.com/heibaiying/BigData-Notes/blob/master/notes/HiveShell基本使用.md) +5. [Hive 核心概念讲解](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive核心概念讲解.md) 6. [Hive 常用DDL操作](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive常用DDL操作.md) -7. Hive 数据查询 -8. Hive 视图和索引 -9. Hive 模式设计 +7. [Hive 分区表和分桶表](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive分区表和分桶表.md) +8. [Hive 视图和索引](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive数据查询详解.md) +9. [Hive常用DML操作](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive常用DML操作.md) +10. [Hive 数据查询详解](https://github.com/heibaiying/BigData-Notes/blob/master/notes/Hive数据查询详解.md) ## 三、Spark diff --git a/notes/Hive常用DML操作.md b/notes/Hive常用DML操作.md index 35d789a..7f6d039 100644 --- a/notes/Hive常用DML操作.md +++ b/notes/Hive常用DML操作.md @@ -16,7 +16,8 @@ 将文件数据加载到表时,Hive不会进行任何转换,加载操作是纯复制/移动操作,它将数据文件移动到Hive表定义的存储位置。 ```shell -LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] +LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] +INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] ``` - Load 关键字代表从本地文件系统加载文件,省略则代表从HDFS上加载文件: @@ -74,8 +75,11 @@ LOAD DATA INPATH "hdfs://hadoop001:8020/mydir/emp.txt" OVERWRITE INTO TABLE emp ### 2.1 语法 ```sql -INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1 FROM from_statement; -INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement; +INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) + [IF NOT EXISTS]] select_statement1 FROM from_statement; + +INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] + select_statement1 FROM from_statement; ``` + Hive 0.13.0开始,建表时可以通过使用TBLPROPERTIES(“immutable”=“true”)来创建不可变表(immutable table) ,如果不可以变表中存在数据,则INSERT INTO失败。(注:INSERT OVERWRITE的语句不受`immutable`属性的影响); @@ -90,7 +94,8 @@ INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] sele ```sql FROM from_statement - INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1 + INSERT OVERWRITE TABLE tablename1 + [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1 [INSERT OVERWRITE TABLE tablename2 [PARTITION ... [IF NOT EXISTS]] select_statement2] [INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2] ...; ``` @@ -98,8 +103,11 @@ INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] sele ### 2.2 动态插入分区 ```sql -INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement; -INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement; +INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) +select_statement FROM from_statement; + +INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) +select_statement FROM from_statement; ``` 在向分区表插入数据时候,分区列名是必须的,但是列值是可选的。如果给出了分区列值,我们将其称为静态分区,否则它是动态分区。动态分区列必须在SELECT语句的列中最后指定,并且与它们在PARTITION()子句中出现的顺序相同。 @@ -146,7 +154,8 @@ TRUNCATE TABLE emp_ptn; 3. 静态分区演示:从`emp`表中查询部门编号为20的员工数据,并插入`emp_ptn`表中,语句如下: ```sql -INSERT OVERWRITE TABLE emp_ptn PARTITION (deptno=20) SELECT empno,ename,job,mgr,hiredate,sal,comm FROM emp WHERE deptno=20; +INSERT OVERWRITE TABLE emp_ptn PARTITION (deptno=20) +SELECT empno,ename,job,mgr,hiredate,sal,comm FROM emp WHERE deptno=20; ``` ​ 完成后`emp_ptn`表中数据如下: @@ -160,7 +169,8 @@ INSERT OVERWRITE TABLE emp_ptn PARTITION (deptno=20) SELECT empno,ename,job,mgr, set hive.exec.dynamic.partition.mode=nonstrict; -- 动态分区 此时查询语句的最后一列为动态分区列,即deptno -INSERT OVERWRITE TABLE emp_ptn PARTITION (deptno) SELECT empno,ename,job,mgr,hiredate,sal,comm,deptno FROM emp WHERE deptno=30; +INSERT OVERWRITE TABLE emp_ptn PARTITION (deptno) +SELECT empno,ename,job,mgr,hiredate,sal,comm,deptno FROM emp WHERE deptno=30; ``` ​ 完成后`emp_ptn`表中数据如下: @@ -172,7 +182,8 @@ INSERT OVERWRITE TABLE emp_ptn PARTITION (deptno) SELECT empno,ename,job,mgr,hir ## 三、使用SQL语句插入值 ```sql -INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES ( value [, value ...] ) +INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] +VALUES ( value [, value ...] ) ``` + 使用时必须为表中的每个列都提供值。不支持只向部分列插入值(可以为缺省值的列提供空值来消除这个弊端); diff --git a/notes/Hive数据查询详解.md b/notes/Hive数据查询详解.md new file mode 100644 index 0000000..25b7ce5 --- /dev/null +++ b/notes/Hive数据查询详解.md @@ -0,0 +1,407 @@ +# Hive数据查询详解 + + + + + +## 一、数据准备 + +为了演示查询操作,这里需要预先创建两张表,并加载数据。 + +> 这里的表结构主要参考自Oracle内置的练习表——emp表和dept表,涉及到数据文件emp.txt和dept.txt可以在本仓库的sources目录下下载。 + +### 1.1 员工表 + +```sql + -- 建表语句 + CREATE TABLE emp( + empno INT, -- 员工表编号 + ename STRING, -- 员工姓名 + job STRING, -- 职位类型 + mgr INT, + hiredate TIMESTAMP, --雇佣日期 + sal DECIMAL(7,2), --工资 + comm DECIMAL(7,2), + deptno INT) --部门编号 + ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"; + + --加载数据 +LOAD DATA LOCAL INPATH "/usr/file/emp.txt" OVERWRITE INTO TABLE emp; +``` + +### 1.2 部门表 + +```sql + -- 建表语句 + CREATE TABLE dept( + deptno INT, --部门编号 + dname STRING, --部门名称 + loc STRING --部门所在的城市 + ) + ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"; + + --加载数据 + LOAD DATA LOCAL INPATH "/usr/file/dept.txt" OVERWRITE INTO TABLE dept; +``` + +### 1.3 分区表 + +这里需要额外创建一张分区表,主要是为了演示分区查询: + +```sql +CREATE EXTERNAL TABLE emp_ptn( + empno INT, + ename STRING, + job STRING, + mgr INT, + hiredate TIMESTAMP, + sal DECIMAL(7,2), + comm DECIMAL(7,2) + ) + PARTITIONED BY (deptno INT) -- 按照部门编号进行分区 + ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t"; + + +--加载数据 +LOAD DATA LOCAL INPATH "/usr/file/emp.txt" OVERWRITE INTO TABLE emp_ptn PARTITION (deptno=20) +LOAD DATA LOCAL INPATH "/usr/file/emp.txt" OVERWRITE INTO TABLE emp_ptn PARTITION (deptno=30) +LOAD DATA LOCAL INPATH "/usr/file/emp.txt" OVERWRITE INTO TABLE emp_ptn PARTITION (deptno=40) +LOAD DATA LOCAL INPATH "/usr/file/emp.txt" OVERWRITE INTO TABLE emp_ptn PARTITION (deptno=50) +``` + + + +## 二、单表查询 + +### 2.1 SELECT + +```sql +-- 查询表中全部数据 +SELECT * FROM emp; +``` + + + +### 2.2 WHERE + +```sql +-- 查询10号部门中员工编号大于 7782 的员工信息 +SELECT * FROM emp WHERE empno > 7782 AND deptno = 10; +``` + + + +### 2.3 DISTINCT + +Hive支持使用DISTINCT关键字去重。 + +```sql +-- 查询所有工作类型 +SELECT DISTINCT job FROM emp; +``` + + + +### 2.4 分区查询 + +分区查询(Partition Based Queries),可以指定某个分区或者分区范围。 + +```sql +-- 查询分区表中部门编号在[20,40]之间的员工 +SELECT emp_ptn.* FROM emp_ptn +WHERE emp_ptn.deptno >= 20 AND emp_ptn.deptno <= 40; +``` + + + +### 2.5 LIMIT + +```sql +-- 查询薪资最高的5名员工 +SELECT * FROM emp ORDER BY sal DESC LIMIT 5; +``` + + + +### 2.6 GROUP BY + +Hive支持使用GROUP BY进行分组聚合操作。 + +```sql +set hive.map.aggr=true; + +-- 查询各个部门薪酬综合 +SELECT deptno,SUM(sal) FROM emp GROUP BY deptno; +``` + +`hive.map.aggr`控制程序如何进行聚合。默认值为false。如果设置为true,Hive会在map任务中就执行一次聚合。这可以提高聚合效率,但需要消耗更多内存。 + + + +### 2.7 ORDER AND SORT + +可以使用ORDER BY或者Sort BY对查询结果进行排序,排序字段可以是整型也可以是字符串:如果是整型,则按照大小排序;如果是字符串,则按照字典序排序。ORDER BY 和 Sort BY 的区别如下: + ++ 使用ORDER BY时会有一个Reducer对全部查询结果进行排序,能保证数据的全局有序性; ++ 使用Sort BY时只会在每个Reducer中进行排序,这可以保证每个Reducer的输出数据时有序的,但是并不能保证全局有序。 + +由于ORDER BY的操作时间可能过长,如果你设置了严格模式(hive.mapred.mode = strict),则其后面必须再跟一个`limit`子句。 + +> 注 :hive.mapred.mode默认值是nonstrict ,也就是非严格模式。 + +```sql +-- 查询员工工资,结果按照部门升序,按照工资降序排列 +SELECT empno, deptno, sal FROM emp ORDER BY deptno ASC, sal DESC; +``` + + + +### 2.8 HAVING + +可以使用HAVING对分组数据进行过滤。 + +```sql +-- 查询工资总和大于9000的所有部门 +SELECT deptno,SUM(sal) FROM emp GROUP BY deptno HAVING SUM(sal)>9000; +``` + + + +### 2.9 DISTRIBUTE BY + +默认情况下,MapReduce程序会对Map输出结果的Key值进行散列,并均匀分发到所有Reducer上。如果想要把具有相同Key值的数据分发到同一个Reducer进行处理,这就需要使用DISTRIBUTE BY字句。 + +需要注意的是,DISTRIBUTE BY虽然能保证具有相同Key值的数据分发到同一个Reducer,但是不能保证数据在Reducer上是有序的。情况如下: + +把以下5个数据发送到两个Reducer上进行处理: + +```properties +k1 +k2 +k4 +k3 +k1 +``` + +Reducer1得到如下乱序数据: + +```properties +k1 +k2 +k1 +``` + + +Reducer2得到数据如下: + +```properties +k4 +k3 +``` + +如果想让Reducer上的数据时有序的,可以结合`SORT BY`使用(示例如下),或者使用下面我们将要介绍的CLUSTER BY。 + +```sql +-- 将数据按照部门分发到对应的Reducer上处理 +SELECT empno, deptno, sal FROM emp DISTRIBUTE BY deptno SORT BY deptno ASC; +``` + + + +### 2.10 CLUSTER BY + +如果`SORT BY`和`DISTRIBUTE BY`指定的是相同字段,且SORT BY排序规则是ASC,此时可以使用`CLUSTER BY`进行替换,同时`CLUSTER BY`可以保证数据在全局是有序的。 + +```sql +SELECT empno, deptno, sal FROM emp CLUSTER BY deptno ; +``` + + + +## 三、多表联结查询 + +Hive支持内连接,外连接,左外连接,右外连接,笛卡尔连接,这和传统数据库中的概念一致。关于以上概念,可以参见下图。 + +需要特别强调:JOIN语句的关联条件必须用ON指定,不能用WHERE指定,否则就会先做笛卡尔积,再过滤,这会导致你得不到预期的结果(下面的演示会有说明)。 + +
+ + + +### 3.1 INNER JOIN + +```sql +-- 查询员工编号为7369的员工的详细信息 +SELECT e.*,d.* FROM +emp e JOIN dept d +ON e.deptno = d.deptno +WHERE empno=7369; + +--如果是三表或者更多表连接,语法如下 +SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1) +``` + +### 3.2 LEFT OUTER JOIN + +LEFT OUTER JOIN 和 LEFT JOIN是等价的。 + +```sql +-- 左连接 +SELECT e.*,d.* +FROM emp e LEFT OUTER JOIN dept d +ON e.deptno = d.deptno; +``` + +### 3.3 RIGHT OUTER JOIN + +```sql +--右连接 +SELECT e.*,d.* +FROM emp e RIGHT OUTER JOIN dept d +ON e.deptno = d.deptno; +``` + +执行右连接后,由于40号部门下没有任何员工,所以此时员工信息为NULL。这个查询可以很好的复述上面提到的——JOIN语句的关联条件必须用ON指定,不能用WHERE指定。你可以把ON改成WHERE,你会发现无论如何都查不出40号部门这条数据,因为笛卡尔运算不会有(NULL, 40)这种情况。 + +
+ +### 3.4 FULL OUTER JOIN + +```sql +SELECT e.*,d.* +FROM emp e FULL OUTER JOIN dept d +ON e.deptno = d.deptno; +``` + +### 3.5 LEFT SEMI JOIN + +LEFT SEMI JOIN (左半连接)是 IN/EXISTS 子查询的一种更高效的实现。 + ++ JOIN 子句中右边的表只能在 ON 子句中设置过滤条件; ++ 查询结果只包含左边表的数据,所以只能SELECT左表中的列。 + +```sql +-- 查询在纽约办公的所有员工信息 +SELECT emp.* +FROM emp LEFT SEMI JOIN dept +ON emp.deptno = dept.deptno AND dept.loc="NEW YORK"; + +--上面的语句就等价于 +SELECT emp.* FROM emp +WHERE emp.deptno IN (SELECT deptno FROM dept WHERE loc="NEW YORK"); +``` + +### 3.6 JOIN + +笛卡尔积连接,这个连接日常的开发中可能很少遇到,且性能消耗会比较大,基于这个原因,如果在严格模式下(hive.mapred.mode = strict),Hive会阻止用户执行此操作。 + +```sql +SELECT * FROM emp JOIN dept; +``` + + + +## 四、JOIN优化 + +### 4.1 STREAMTABLE + +在多表进行联结的时候,如果每个ON字句都使用到共同的列(如下面的`b.key1`),此时Hive会进行优化,将多表join在同一个map / reduce作业上进行。同时假定查询的最后一个表(如下面的 c 表)是最大的一个表,在对每行记录进行join操作时,它将尝试将其他的表缓存起来,然后扫描最后那个表进行计算。因为用户需要保证连续查询的表的大小从左到右是依次增加的。 + +```sql +`SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)` +``` + +然后,用户并非需要总是把最大的表放在查询语句的最后面,Hive提供了`/*+ STREAMTABLE() */`标志,用于标识最大的表,示例如下: + +```sql +SELECT /*+ STREAMTABLE(d) */ e.*,d.* +FROM emp e JOIN dept d +ON e.deptno = d.deptno +WHERE job='CLERK'; +``` + + + +### 4.2 MAPJOIN + +如果所有表中只有一张表是小表,那么完全可以把这张小表加载到内存中。这时候程序会在map阶段直接拿另外一个表的数据和内存中表数据做匹配,由于在map就进行了join操作,从而可以省略reduce过程,这样效率可以提升很多。Hive中提供了`/*+ MAPJOIN() */`来标记小表,示例如下: + +```sql +SELECT /*+ MAPJOIN(d) */ e.*,d.* +FROM emp e JOIN dept d +ON e.deptno = d.deptno +WHERE job='CLERK'; +``` + + + +## 五、SELECT的其他用途 + +查看当前数据库: + +```sql +SELECT current_database() +``` + + + +## 六、本地模式 + +在上面演示的语句中,大多数都会触发MapReduce, 少部分不会触发,比如`select * from emp limit 5`就不会触发MR,此时Hive只是简单的读取数据文件中的内容,然后格式化后进行输出。在需要执行MapReduce的查询中,你会发现执行时间可能会很长,这时候你可以选择开启本地模式。 + +```sql +--本地模式默认关闭,需要手动开启此功能 +SET hive.exec.mode.local.auto=true; +``` + +启用后,Hive将分析查询中每个map-reduce作业的大小,如果满足以下条件,则可以在本地运行它: + +- 作业的总输入大小低于:hive.exec.mode.local.auto.inputbytes.max(默认为128MB); +- map-tasks的总数小于:hive.exec.mode.local.auto.tasks.max(默认为4); +- 所需的reduce任务总数为1或0。 + +因为我们测试的数据集很小,所以你再次去执行上面涉及MR操作的查询,你会发现速度会有显著的提升。 + + + + + +## 参考资料 + +1. [LanguageManual Select](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select) + +2. [LanguageManual Joins](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins) +3. [LanguageManual GroupBy](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+GroupBy) +4. [LanguageManual SortBy](https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy) + + + + + + + diff --git a/pictures/hive-order-by.png b/pictures/hive-order-by.png new file mode 100644 index 0000000..aa4be3d Binary files /dev/null and b/pictures/hive-order-by.png differ diff --git a/pictures/hive-right-join.png b/pictures/hive-right-join.png new file mode 100644 index 0000000..c726341 Binary files /dev/null and b/pictures/hive-right-join.png differ diff --git a/pictures/sql-join.jpg b/pictures/sql-join.jpg new file mode 100644 index 0000000..558ad0f Binary files /dev/null and b/pictures/sql-join.jpg differ diff --git a/resources/dept.txt b/resources/dept.txt new file mode 100644 index 0000000..518de50 --- /dev/null +++ b/resources/dept.txt @@ -0,0 +1,4 @@ +10 ACCOUNTING NEW YORK +20 RESEARCH DALLAS +30 SALES CHICAGO +40 OPERATIONS BOSTON