BigData-Notes/notes/Hive简介及核心概念.md
2019-05-30 17:04:04 +08:00

12 KiB
Raw Blame History

Hive简介及核心概念

一、简介
二、Hive的体系架构
三、数据类型
        3.1 基本数据类型
        3.2 隐式转换
        3.3 复杂类型
四、内容格式
五、存储格式
六、内部表和外部表

一、简介

Hive是一个构建在Hadoop之上的数据仓库它可以将结构化的数据文件映射成表并提供类SQL查询功能用于查询的SQL语句会被转化为MapReduce作业然后提交到Hadoop上运行。

特点

  1. 简单、容易上手(提供了类似sql的查询语言hql)使得精通sql但是不了解Java编程的人也能很好地进行大数据分析
  2. 灵活性高,可以自定义用户函数(UDF)和存储格式;
  3. 为超大的数据集设计的计算和存储能力,集群扩展容易;
  4. 统一的元数据管理可与prestoimpalasparksql等共享数据
  5. 执行延迟高,不适合做数据的实时处理,但适合做海量数据的离线处理。

二、Hive的体系架构

2.1 command-line shell & thrift/jdbc

可以用command-line shell和thriftjdbc两种方式来操作数据

  • command-line shell通过hive命令行的的方式来操作数据
  • thriftjdbc通过thrift协议按照标准的JDBC的方式操作数据。

2.2 Metastore

在Hive中表名、表结构、字段名、字段类型、表的分隔符等统一被称为元数据。所有的元数据默认存储在Hive内置的derby数据库中但由于derby只能有一个实例也就是说不能有多个命令行客户端同时访问所以在实际生产环境中通常使用MySQL代替derby。

Hive进行的是统一的元数据管理就是说你在Hive上创建了一张表然后在prestoimpalasparksql 中都是可以直接使用的它们会从Metastore中获取统一的元数据信息同样的你在prestoimpalasparksql中创建一张表在Hive中也可以直接使用。

2.3 HQL的执行流程

Hive在执行一条HQL的时候会经过以下步骤

  1. 语法解析Antlr定义SQL的语法规则完成SQL词法语法解析将SQL转化为抽象 语法树AST Tree
  2. 语义解析遍历AST Tree抽象出查询的基本组成单元QueryBlock
  3. 生成逻辑执行计划遍历QueryBlock翻译为执行操作树OperatorTree
  4. 优化逻辑执行计划逻辑层优化器进行OperatorTree变换合并不必要的ReduceSinkOperator减少shuffle数据量
  5. 生成物理执行计划遍历OperatorTree翻译为MapReduce任务
  6. 优化物理执行计划物理层优化器进行MapReduce任务的变换生成最终的执行计划。

关于Hive SQL的详细执行流程可以参考美团技术团队的文章Hive SQL的编译过程

三、数据类型

3.1 基本数据类型

Hive表中的列支持以下基本数据类型

大类 类型
Integers整型 TINYINT—1字节的有符号整数
SMALLINT—2字节的有符号整数
INT—4字节的有符号整数
BIGINT—8字节的有符号整数
Boolean布尔型 BOOLEAN—TRUE/FALSE
Floating point numbers浮点型 FLOAT— 单精度浮点型
DOUBLE—双精度浮点型
Fixed point numbers定点数 DECIMAL—用户自定义精度定点数比如DECIMAL(7,2)
String types字符串 STRING—指定字符集的字符序列
VARCHAR—具有最大长度限制的字符序列
CHAR—固定长度的字符序列
Date and time types日期时间类型 TIMESTAMP — 时间戳
TIMESTAMP WITH LOCAL TIME ZONE — 时间戳,纳秒精度
DATE—日期类型
Binary types二进制类型 BINARY—字节序列

TIMESTAMP 和 TIMESTAMP WITH LOCAL TIME ZONE 的区别如下:

  • TIMESTAMP WITH LOCAL TIME ZONE:用户提交时间给数据库时,会被转换成数据库所在的时区来保存。查询时则按照查询客户端的不同,转换为查询客户端所在时区的时间。
  • TIMESTAMP :提交什么时间就保存什么时间,查询时也不做任何转换。

3.2 隐式转换

Hive中基本数据类型遵循以下的层次结构按照这个层次结构子类型到祖先类型允许隐式转换。例如INT类型的数据允许隐式转换为BIGINT类型。额外注意的是按照类型层次结构允许将STRING类型隐式转换为DOUBLE类型。

3.3 复杂类型

类型 描述 示例
STRUCT 类似于对象,是字段的集合,字段的类型可以不同,可以使用 名称.字段名方式进行访问 STRUCT ('xiaoming', 12 , '2018-12-12')
MAP 键值对的集合,可以使用名称[key]的方式访问对应的值 map('a', 1, 'b', 2)
ARRAY 数组是一组具有相同类型和名称的变量的集合,可以使用名称[index]访问对应的值 ARRAY('a', 'b', 'c', 'd')

3.4 示例

如下给出一个基本数据类型和复杂数据类型的使用示例:

CREATE TABLE students(
  name      STRING,   -- 姓名
  age       INT,      -- 年龄
  subject   ARRAY<STRING>,   --学科
  score     MAP<STRING,FLOAT>,  --各个学科考试成绩
  address   STRUCT<houseNumber:int, street:STRING, city:STRING, provinceSTRING>  --家庭居住地址
) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";

四、内容格式

当数据存储在文本文件中必须按照一定格式区别行和列如使用逗号作为分隔符的CSV文件(Comma-Separated Values)或者使用制表符作为分隔值的TSV文件(Tab-Separated Values)。但此时也存在一个缺点,就是正常的文件内容中也可能出现逗号或者制表符。

所以Hive默认使用了几个平时很少出现的字符这些字符一般不会作为内容出现在文件中。Hive默认的行和列分隔符如下表所示。

分隔符 描述
\n 对于文本文件来说,每行是一条记录,所以可以使用换行符来分割记录
^A (Ctrl+A) 分割字段(列)在CREATE TABLE语句中也可以使用八进制编码 \001 来表示
^B 用于分割 ARRAY 或者 STRUCT 中的元素,或者用于 MAP 中键值对之间的分割,
在CREATE TABLE语句中也可以使用八进制编码\002 表示
^C 用于 MAP 中键和值之间的分割在CREATE TABLE语句中也可以使用八进制编码\003 表示

使用示例如下:

CREATE TABLE page_view(viewTime INT, userid BIGINT)
 ROW FORMAT DELIMITED
   FIELDS TERMINATED BY '\001'
   COLLECTION ITEMS TERMINATED BY '\002'
   MAP KEYS TERMINATED BY '\003'
 STORED AS SEQUENCEFILE;

五、存储格式

5.1 支持的存储格式

Hive会在HDFS为每个数据库上创建一个目录数据库中的表是该目录的子目录表中的数据会以文件的形式存储在对应的表目录下。Hive支持以下几种文件存储格式

格式 说明
TextFile 存储为纯文本文件。 这是Hive默认的文件存储格式。这种存储方式数据不做压缩磁盘开销大数据解析开销大。
SequenceFile SequenceFile是Hadoop API提供的一种二进制文件它将数据以<key,value>的形式序列化到文件中。这种二进制文件内部使用Hadoop的标准的Writable 接口实现序列化和反序列化。它与Hadoop API中的MapFile 是互相兼容的。Hive中的SequenceFile 继承自Hadoop API 的SequenceFile不过它的key为空使用value存放实际的值这样是为了避免MR在运行map阶段进行额外的排序操作。
RCFile RCFile文件格式是FaceBook开源的一种Hive的文件存储格式首先将表分为几个行组对每个行组内的数据按列存储每一列的数据都是分开存储。
ORC Files ORC是在一定程度上扩展了RCFile是对RCFile的优化。
Avro Files Avro是一个数据序列化系统设计用于支持大批量数据交换的应用。它的主要特点有支持二进制序列化方式可以便捷快速地处理大量数据动态语言友好Avro提供的机制使动态语言可以方便地处理Avro数据。
Parquet Parquet是基于Dremel的数据模型和算法实现的面向分析型业务的列式存储格式。它通过按列进行高效压缩和特殊的编码技术从而在降低存储空间的同时提高了IO效率。

以上压缩格式中ORC和Parquet的综合性能突出使用较为广泛推荐使用这两种格式。

5.2 指定存储格式

通常在创建表的时候使用STORED AS参数指定:

CREATE TABLE page_view(viewTime INT, userid BIGINT)
 ROW FORMAT DELIMITED
   FIELDS TERMINATED BY '\001'
   COLLECTION ITEMS TERMINATED BY '\002'
   MAP KEYS TERMINATED BY '\003'
 STORED AS SEQUENCEFILE;

各个存储文件类型指定方式如下:

  • STORED AS TEXTFILE
  • STORED AS SEQUENCEFILE
  • STORED AS ORC
  • STORED AS PARQUET
  • STORED AS AVRO
  • STORED AS RCFILE

六、内部表和外部表

内部表又叫做管理表(Managed/Internal Table),创建表时不做任何指定,默认创建的就是内部表。想要创建外部表(External Table)则需要使用External进行修饰。 内部表和外部表主要区别如下:

内部表 外部表
数据存储位置 内部表数据存储的位置由hive.metastore.warehouse.dir参数指定默认情况下表的数据存储在HDFS的/user/hive/warehouse/数据库名.db/表名/ 目录下 外部表数据的存储位置创建表时由Location参数指定;
导入数据 在导入数据到内部表内部表将数据移动到自己的数据仓库目录下数据的生命周期由Hive来进行管理 外部表不会将数据移动到自己的数据仓库目录下,只是在元数据中存储了数据的位置
删除表 删除元数据metadata和文件 只删除元数据metadata

参考资料

  1. Hive Getting Started
  2. Hive SQL的编译过程
  3. LanguageManual DDL
  4. LanguageManual Types
  5. Managed vs. External Tables