BigData-Notes

Java 程序员的大数据学习之路（2019） — — 持续更新中

Hadoop	Hive	Spark	Flink	Storm	Flume	Sqoop	Azkaban	HBase	Kafka	Zookeeper	Scala

为方便查阅，所有软件的安装步骤统一整理至：Linux下大数据常用软件安装指南

一、Hadoop

1. 分布式文件存储系统——HDFS
2. 分布式计算框架——MapReduce
3. 集群资源管理器——YARN
4. Hadoop单机伪集群环境搭建
5. HDFS常用Shell命令

二、Hive

1. 数据仓库Hive
2. Linux环境下Hive的安装部署

三、Spark

1. Spark简介
2. Spark单机版本环境搭建
3. RDD详解
4. Spark Transformation 和 Action

四、Flink

TODO

五、Storm

1. Storm和流处理简介
2. Storm核心概念详解
3. Storm单机版本环境搭建
4. Storm编程模型详解
5. Storm整合Redis
6. Storm整合HDFS/HBase
7. Storm整合Kafka
8. Storm Topology的两种打包方式

六、Flume

1. Flume简介及基本使用
2. Linux环境下Flume的安装部署
3. Flume整合Kafka

七、Sqoop

1. Sqoop简介与安装

2. Sqoop的基本使用

八、Azkaban

1. Azkaban简介
2. Azkaban3.x 编译及部署
3. Azkaban Flow 1.0 的使用
4. Azkaban Flow 2.0 的使用

九、HBase

1. Hbase 简介
2. HBase系统架构及数据结构
3. HBase基本环境搭建（Standalone /pseudo-distributed mode）
4. HBase常用Shell命令
5. HBase Java API
6. Hbase 过滤器详解
7. HBase 协处理器详解
8. HBase 容灾与备份
9. HBase的SQL中间层——Phoenix
10. Spring/Spring Boot 整合 Mybatis + Phoenix

十、Kafka

1. Kafka 简介及消息处理过程分析
2. 基于Zookeeper搭建Kafka高可用集群
3. Kafka 副本机制以及选举原理剖析

十一、Zookeeper

1. Zookeeper 简介及原理介绍
2. Zookeeper 集群搭建Zookeeper
3. 分布式锁实现方案Zookeeper
4. 集群升级、迁移深入分析 Zookeeper
5. Zab协议及选举机制

十二、Scala