BigData-Notes/notes/大数据常用软件安装指南.md

大数据常用软件安装指南

为方便大家查阅，本仓库所有软件的安装方式单独整理如下：

一、基础软件安装

1. Linux环境下JDK安装
2. Linux环境下Python安装
3. 虚拟机静态IP及多IP配置

二、Hadoop

1. Hadoop单机环境搭建
2. Hadoop集群环境搭建
3. 基于Zookeeper搭建Hadoop高可用集群

三、Spark

1. Spark开发环境搭建
2. 基于Zookeeper搭建Spark高可用集群

四、Storm

1. Storm单机环境搭建
2. Storm集群环境搭建

五、HBase

1. HBase单机环境搭建
2. HBase集群环境搭建

六、Flume

1. Linux环境下Flume的安装部署

七、Azkaban

1. Azkaban3.x编译及部署

八、Hive

1. Linux环境下Hive的安装部署

九、Zookeeper

1. Zookeeper单机环境和集群环境搭建

十、Kafka

1. 基于Zookeeper搭建Kafka高可用集群

版本说明

由于Apache Hadoop 原有安装包之间兼容性比较差，所以如无特殊需求，本仓库一律选择 CDH (Cloudera's Distribution, including Apache Hadoop) 版本的安装包。它基于稳定版本的 Apache Hadoop 构建，并做了兼容性测试，是目前生产环境中使用最为广泛的版本。

最新的 CDH 5 的下载地址为：http://archive.cloudera.com/cdh5/cdh/5/ 。这个页面很大且加载速度比较慢，需要耐心等待页面加载完成。上半部分是文档链接，后半部分才是安装包。同一个 CDH 版本的不同框架间都做了集成测试，可以保证没有任何JAR包冲突。安装包包名通常如下所示，这里 CDH 版本都是 5.15.2 ，前面是各个软件自己的版本 ，未避免出现不必要的JAR包冲突，请务必保持 CDH 的版本一致。

hadoop-2.6.0-cdh5.15.2.tar.gz 
hbase-1.2.0-cdh5.15.2
hive-1.1.0-cdh5.15.2.tar.gz