导图 1
大数据技术栈
  Hadoop
    HDFS 分布式文件系统
      NameNode
      DataNode
    YARN 集群资源管理器
      ResourceManager
      NodeManager
    MapReduce 批处理框架
  数据仓库 Hive
    内部表
    外部表
    分区表
    分桶表
    视图
    索引
    ......
  混合处理框架 Spark
    Spark Core
      Spark SQL
        DataSet
        DataFrame
      Spark Streaming 流处理框架
        DStream
      MLlib 机器学习库
      Graphx 图形处理库
    集群架构
      Master
      Cluster Manager
      Worker Node
        Executor
          Task
          Task
          ......
        Cache
  混合处理框架 Flink
    Batch (DataSet API)
    Streaming (DataStream API)
    Table API & SQL
    扩展库
      Event Processing (CEP)
      Graphs: Gelly
      Machine Learning
  流处理框架 Storm
    核心概念
      Topology
      Spout
      Bolt
      Stream
    集群架构
      Nimbus
      Supervisors
  面向列的数据库 HBase
    核心概念
      Row Key (行键)
      Column Family（列族）
      Column Qualifier (列限定符)
      Column (列)
      Cell
    集群架构
      HMaster
      Region Servers
  分布式协调服务 ZooKeeper
    Znode
      永久节点
      临时节点
      有序节点
    Watcher
    ACL
      Permissions
      Id
      Schemes
    ZAB
      崩溃恢复
      消息广播
  Kafka
    核心概念
      Messages And Batches (消息与批次)
      Topics And Partitions (主题与分区)
      Producers And Consumers (生产者与消费者)
      Brokers And Clusters
  工具
    Azkaban 分布式任务调度框架
      核心概念
        Job
        Flow
          Flow 1.0
          Flow 2.0
      架构
        WebServer
        ExecutorServer
    Flume 数据收集工具
      Event 数据传输的基本单元
      Source 数据源
      Channel 临时存储数据的管道
      Sink 数据处理单元
      Agent
    Sqoop 数据迁移工具
      用于在不同存储系统之间实现数据的导入与导出