大数据应用常用打包方式
This commit is contained in:
罗祥
parent
52a294dbe6
commit
0f26aaa790
@ -8,15 +8,16 @@
|
||||
<a href="#五其他打包需求">五、其他打包需求</a><br/>
|
||||
<a href="#1-使用非Maven仓库中的Jar">1. 使用非Maven仓库中的Jar</a><br/>
|
||||
<a href="#2-排除集群中已经存在的Jar">2. 排除集群中已经存在的Jar</a><br/>
|
||||
<a href="#3-打包scala文件">3. 打包.scala文件</a><br/>
|
||||
<a href="#3-打包Scala文件">3. 打包Scala文件</a><br/>
|
||||
</nav>
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
## 一、简介
|
||||
|
||||
在提交大数据作业到集群中运行时，通常都需要先将项目打成Jar包。Java项目通常采用Maven进行构建，Maven提供的常用打包方式及插件有以下四种：
|
||||
在提交大数据作业到集群上运行时，通常需要先将项目打成JAR包。这里以Maven为例，常用打包方式如下：
|
||||
|
||||
- 不加任何插件，直接使用mvn package打包；
|
||||
- 使用maven-assembly-plugin插件；
|
||||
@ -27,11 +28,11 @@
|
||||
|
||||
## 二、mvn package
|
||||
|
||||
不在POM中配置任何插件，直接使用`mvn package`进行项目打包，这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方JAR包，就会出现问题，因为`mvn package`打的Jar包中是不含有依赖包，会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大，因为实际的项目往往很复杂，通常都会依赖第三方Jar。
|
||||
不在POM中配置任何插件，直接使用`mvn package`进行项目打包，这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方JAR包，就会出现问题，因为`mvn package`打的JAR包中是不含有依赖包，会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大，因为实际的项目往往很复杂，通常都会依赖第三方JAR。
|
||||
|
||||
大数据框架的开发者也考虑到这个问题，所以基本所有的框架都支持在提交作业时使用`--jars`指定第三方依赖包，但是这种方式的问题同样很明显，就是你必须保持生产环境与开发环境中的所有Jar包版本一致，这是有维护成本的。
|
||||
大数据框架的开发者也考虑到这个问题，所以基本所有的框架都支持在提交作业时使用`--jars`指定第三方依赖包，但是这种方式的问题同样很明显，就是你必须保持生产环境与开发环境中的所有JAR包版本一致，这是有维护成本的。
|
||||
|
||||
基于上面这些原因，最简单的是采用`All In One`的打包方式，把所有依赖都打包到一个Jar文件中，此时对环境的依赖性最小。要实现这个目的，可以使用Maven提供的`maven-assembly-plugin`或`maven-shade-plugin`插件。
|
||||
基于上面这些原因，最简单的是采用`All In One`的打包方式，把所有依赖都打包到一个JAR文件中，此时对环境的依赖性最小。要实现这个目的，可以使用Maven提供的`maven-assembly-plugin`或`maven-shade-plugin`插件。
|
||||
|
||||
## 三、maven-assembly-plugin插件
|
||||
|
||||
@ -48,7 +49,7 @@
|
||||
- war
|
||||
|
||||
### 3.1 基本使用
|
||||
在POM.xml中引入插件，指定打包格式的配置文件`assembly.xml`(名称可自定义)，并指定作业的主入口类。
|
||||
在POM.xml中引入插件，指定打包格式的配置文件`assembly.xml`(名称可自定义)，并指定作业的主入口类：
|
||||
|
||||
```xml
|
||||
<build>
|
||||
@ -176,10 +177,10 @@ assembly.xml文件内容如下：
|
||||
</plugin>
|
||||
```
|
||||
|
||||
以上配置来源于Storm的Github仓库，在上面的配置中，排除了部分文件，这是因为有些JAR包生成时，会使用jarsigner生成文件签名(完成性校验)，分为两个文件存放在META-INF目录下：
|
||||
以上配置来源于Storm Github，在上面的配置中，排除了部分文件，这是因为有些JAR包生成时，会使用jarsigner生成文件签名(完成性校验)，分为两个文件存放在META-INF目录下：
|
||||
|
||||
- a signature file, with a .SF extension；
|
||||
- a signature block file, with a .DSA, .RSA, or .EC extension；
|
||||
- a signature block file, with a .DSA, .RSA, or .EC extension。
|
||||
|
||||
如果某些包的存在重复引用，这可能会导致在打包时候出现`Invalid signature file digest for Manifest main attributes`异常，所以在配置中排除这些文件。
|
||||
|
||||
@ -191,7 +192,7 @@ assembly.xml文件内容如下：
|
||||
# mvn package
|
||||
```
|
||||
|
||||
打包后会生成两个JAR包，提交到服务器集群时使用非original开头的Jar。
|
||||
打包后会生成两个JAR包，提交到服务器集群时使用非original开头的JAR。
|
||||
|
||||
<div align="center"> <img src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/storm-jar2.png"/> </div>
|
||||
|
||||
@ -201,7 +202,7 @@ assembly.xml文件内容如下：
|
||||
|
||||
### 1. 使用非Maven仓库中的Jar
|
||||
|
||||
通常上面两种打包能够满足大多数的使用场景。但是如果你想把某些没有被Maven管理Jar包打入到最终的Jar中，比如你在`resources/lib`下引入的其他非Maven仓库中的Jar，此时可以使用`maven-jar-plugin`和`maven-dependency-plugin`插件将其打入最终的Jar中。
|
||||
通常上面两种打包能够满足大多数的使用场景。但是如果你想把某些没有被Maven管理JAR包打入到最终的JAR中，比如你在`resources/lib`下引入的其他非Maven仓库中的JAR，此时可以使用`maven-jar-plugin`和`maven-dependency-plugin`插件将其打入最终的JAR中。
|
||||
|
||||
```xml
|
||||
<build>
|
||||
@ -247,7 +248,7 @@ assembly.xml文件内容如下：
|
||||
|
||||
### 2. 排除集群中已经存在的Jar
|
||||
|
||||
通常为了避免冲突，官方文档都会建议你排除集群中已经提供的Jar包，如下：
|
||||
通常为了避免冲突，官方文档都会建议你排除集群中已经提供的JAR包，如下：
|
||||
|
||||
Spark 官方文档 Submitting Applications 章节:
|
||||
|
||||
@ -257,14 +258,14 @@ Strom官方文档 Running Topologies on a Production Cluster 章节：
|
||||
|
||||
>Then run mvn assembly:assembly to get an appropriately packaged jar. Make sure you exclude the Storm jars since the cluster already has Storm on the classpath.
|
||||
|
||||
排除Jar包的方式主要有以下两种：
|
||||
按照以上说明，排除JAR包的方式主要有两种：
|
||||
|
||||
+ 对需要排除的Jar包依赖添加`<scope>provided</scope>`标签，此时该Jar包会被排除，但是不建议使用这种方式，因为此时你在本地运行也无法使用该Jar包；
|
||||
+ 对需要排除的依赖添加`<scope>provided</scope>`标签，此时该JAR包会被排除，但是不建议使用这种方式，因为此时你在本地运行也无法使用该JAR包；
|
||||
+ 建议直接在`maven-assembly-plugin`或`maven-shade-plugin`的配置文件中使用`<exclude>`进行排除。
|
||||
|
||||
### 3. 打包.scala文件
|
||||
### 3. 打包Scala文件
|
||||
|
||||
如果你使用到scala语言进行编程，此时需要特别注意 ：默认情况下Maven是不会把`.scala`文件打入最终的Jar中，需要额外添加`maven-scala-plugin`插件，常用配置如下：
|
||||
如果你使用到Scala语言进行编程，此时需要特别注意 ：默认情况下Maven是不会把`scala`文件打入最终的JAR中，需要额外添加`maven-scala-plugin`插件，常用配置如下：
|
||||
|
||||
```xml
|
||||
<plugin>
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user