From b3bc19e115f2d73a5089cb6e1d2fcc5355fc5c1e Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E7=BD=97=E7=A5=A5?= <1366971433@qq.com> Date: Thu, 30 May 2019 15:44:44 +0800 Subject: [PATCH] =?UTF-8?q?Hive=E5=88=86=E5=8C=BA=E8=A1=A8=E5=92=8C?= =?UTF-8?q?=E5=88=86=E6=A1=B6=E8=A1=A8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- notes/Hive分区表和分桶表.md | 20 ++++++++++---------- 1 file changed, 10 insertions(+), 10 deletions(-) diff --git a/notes/Hive分区表和分桶表.md b/notes/Hive分区表和分桶表.md index 8c18b23..32585de 100644 --- a/notes/Hive分区表和分桶表.md +++ b/notes/Hive分区表和分桶表.md @@ -11,15 +11,15 @@ ### 1.1 概念 -Hive中的表表现为HDFS上的某个目录，在查询数据时候，默认都会对全表进行扫描，这样时间和性能的消耗都非常大。 +Hive中的表对应为HDFS上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 -**分区表现为HDFS上表目录的子目录**，数据按照分区存储在子目录中。如果查询的`where`字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合理的分区设计可以极大提高查询速度和性能。 +**分区为HDFS上表目录的子目录**，数据按照分区存储在子目录中。如果查询的`where`字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合理的分区设计可以极大提高查询速度和性能。 >这里说明一下分区表并Hive独有的概念，实际上这个概念非常常见。比如在我们常用的Oracle数据库中，当表中的数据量不断增大，查询数据的速度就会下降，这时也可以对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据存放到多个表空间（物理文件上），这样查询数据时，就不必要每次都扫描整张表，从而提升查询性能。 ### 1.2 使用场景 -通常，在管理大型生产数据集的时候都需要进行分区，比如在日志文件分析的项目中，通过按天进行分区，从而保证数据的细粒度划分，使得查询性能得以提升。 +通常，在管理大规模数据集的时候都需要进行分区，比如将日志文件按天进行分区，从而保证数据细粒度的划分，使得查询性能得到提升。 ### 1.3 创建分区表 @@ -42,7 +42,7 @@ Hive中的表表现为HDFS上的某个目录，在查询数据时候，默认都 ### 1.4 加载数据到分区表 -加载数据到分区表时候必须要指定数据所处的分区。 +加载数据到分区表时候必须要指定数据所处的分区： ```shell # 加载部门编号为20的数据到表中 @@ -53,7 +53,7 @@ LOAD DATA LOCAL INPATH "/usr/file/emp30.txt" OVERWRITE INTO TABLE emp_partition ### 1.5 查看分区目录 -这时候我们直接查看表目录，可以看到表目录下存在两个目录，分别是`deptno=20`和`deptno=30`,这就是分区目录，分区目录下才是我们加载的数据文件。 +这时候我们直接查看表目录，可以看到表目录下存在两个子目录，分别是`deptno=20`和`deptno=30`,这就是分区目录，分区目录下才是我们加载的数据文件。 ```shell # hadoop fs -ls hdfs://hadoop001:8020/hive/emp_partition/ @@ -69,15 +69,15 @@ LOAD DATA LOCAL INPATH "/usr/file/emp30.txt" OVERWRITE INTO TABLE emp_partition ### 1.1 简介 -分区提供了一个隔离数据和优化查询的可行方案，但是并非所有的数据集都可以形成合理的分区，分区的数量也不是越多越好，过多的分区条件可能会导致很多分区上并没有数据。同时Hive会限制动态分区可以创建的最大分区数，用来避免过多分区文件的产生而对文件系统的处理能力产生负担。鉴于以上原因，Hive还提供了一种更加细粒度的数据拆分方案：分桶表(bucket Table)。 +分区提供了一个隔离数据和优化查询的可行方案，但是并非所有的数据集都可以形成合理的分区，分区的数量也不是越多越好，过多的分区条件可能会导致很多分区上没有数据。同时Hive会限制动态分区可以创建的最大分区数，用来避免过多分区文件对文件系统产生负担。鉴于以上原因，Hive还提供了一种更加细粒度的数据拆分方案：分桶表(bucket Table)。 分桶表会将指定列的值进行哈希散列，并对bucket（桶数量）取余，然后存储到对应的bucket（桶）中。 ### 1.2 理解分桶表 -单从概念上理解分桶表可能会比较晦涩，其实和分区一样，分桶这个概念同样不是Hive独有的，实际上对于Java开发人员而言，这可能是一个每天都会用到的概念，因为Hive中的分桶概念和Java数据结构中的HashMap的分桶概念是一致的。 +单从概念上理解分桶表可能会比较晦涩，其实和分区一样，分桶这个概念同样不是Hive独有的，对于Java开发人员而言，这可能是一个每天都会用到的概念，因为Hive中的分桶概念和Java数据结构中的HashMap的分桶概念是一致的。 -在HashMap中，当我们给put()方法传递键和值时，我们先对键调用hashCode()方法，返回的hashCode用于找到bucket(桶)位置，最后将键值对存储在对应桶的链表结构中，链表达到一定阈值后会转换为红黑树(JDK1.8+)。下图为HashMap的数据结构图： +当调用HashMap的put()方法存储数据时，程序会先对key值调用hashCode()方法计算出hashcode，然后对数组长度取模计算出index，最后将数据存储在数组index位置的链表上，链表达到一定阈值后会转换为红黑树(JDK1.8+)。下图为HashMap的数据结构图：
@@ -85,7 +85,7 @@ LOAD DATA LOCAL INPATH "/usr/file/emp30.txt" OVERWRITE INTO TABLE emp_partition ### 1.3 创建分桶表 -在Hive中，我们可以通过`CLUSTERED BY`指定分桶列，并通过`SORTED BY`指定桶中数据排序参考列。下面为分桶表的建表语句示例： +在Hive中，我们可以通过`CLUSTERED BY`指定分桶列，并通过`SORTED BY`指定桶中数据的排序参考列。下面为分桶表建表语句示例： ```sql CREATE EXTERNAL TABLE emp_bucket( @@ -153,7 +153,7 @@ CREATE TABLE page_view_bucketed( STORED AS SEQUENCEFILE; ``` -此时导入数据时候也需要指定分区： +此时导入数据时需要指定分区： ```shell INSERT OVERWRITE page_view_bucketed