diff --git a/notes/大数据应用常用打包方式.md b/notes/大数据应用常用打包方式.md index a051a7b..ea418e7 100644 --- a/notes/大数据应用常用打包方式.md +++ b/notes/大数据应用常用打包方式.md @@ -8,15 +8,16 @@ 五、其他打包需求
        1. 使用非Maven仓库中的Jar
        2. 排除集群中已经存在的Jar
-        3. 打包.scala文件
+        3. 打包Scala文件
+ ## 一、简介 -在提交大数据作业到集群中运行时,通常都需要先将项目打成Jar包。Java项目通常采用Maven进行构建,Maven提供的常用打包方式及插件有以下四种: +在提交大数据作业到集群上运行时,通常需要先将项目打成JAR包。这里以Maven为例,常用打包方式如下: - 不加任何插件,直接使用mvn package打包; - 使用maven-assembly-plugin插件; @@ -27,11 +28,11 @@ ## 二、mvn package -不在POM中配置任何插件,直接使用`mvn package`进行项目打包,这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方JAR包,就会出现问题,因为`mvn package`打的Jar包中是不含有依赖包,会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大,因为实际的项目往往很复杂,通常都会依赖第三方Jar。 +不在POM中配置任何插件,直接使用`mvn package`进行项目打包,这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方JAR包,就会出现问题,因为`mvn package`打的JAR包中是不含有依赖包,会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大,因为实际的项目往往很复杂,通常都会依赖第三方JAR。 -大数据框架的开发者也考虑到这个问题,所以基本所有的框架都支持在提交作业时使用`--jars`指定第三方依赖包,但是这种方式的问题同样很明显,就是你必须保持生产环境与开发环境中的所有Jar包版本一致,这是有维护成本的。 +大数据框架的开发者也考虑到这个问题,所以基本所有的框架都支持在提交作业时使用`--jars`指定第三方依赖包,但是这种方式的问题同样很明显,就是你必须保持生产环境与开发环境中的所有JAR包版本一致,这是有维护成本的。 -基于上面这些原因,最简单的是采用`All In One`的打包方式,把所有依赖都打包到一个Jar文件中,此时对环境的依赖性最小。要实现这个目的,可以使用Maven提供的`maven-assembly-plugin`或`maven-shade-plugin`插件。 +基于上面这些原因,最简单的是采用`All In One`的打包方式,把所有依赖都打包到一个JAR文件中,此时对环境的依赖性最小。要实现这个目的,可以使用Maven提供的`maven-assembly-plugin`或`maven-shade-plugin`插件。 ## 三、maven-assembly-plugin插件 @@ -48,7 +49,7 @@ - war ### 3.1 基本使用 -在POM.xml中引入插件,指定打包格式的配置文件`assembly.xml`(名称可自定义),并指定作业的主入口类。 +在POM.xml中引入插件,指定打包格式的配置文件`assembly.xml`(名称可自定义),并指定作业的主入口类: ```xml @@ -176,10 +177,10 @@ assembly.xml文件内容如下: ``` -以上配置来源于Storm的Github仓库,在上面的配置中,排除了部分文件,这是因为有些JAR包生成时,会使用jarsigner生成文件签名(完成性校验),分为两个文件存放在META-INF目录下: +以上配置来源于Storm Github,在上面的配置中,排除了部分文件,这是因为有些JAR包生成时,会使用jarsigner生成文件签名(完成性校验),分为两个文件存放在META-INF目录下: - a signature file, with a .SF extension; -- a signature block file, with a .DSA, .RSA, or .EC extension; +- a signature block file, with a .DSA, .RSA, or .EC extension。 如果某些包的存在重复引用,这可能会导致在打包时候出现`Invalid signature file digest for Manifest main attributes`异常,所以在配置中排除这些文件。 @@ -191,7 +192,7 @@ assembly.xml文件内容如下: # mvn package ``` -打包后会生成两个JAR包,提交到服务器集群时使用非original开头的Jar。 +打包后会生成两个JAR包,提交到服务器集群时使用非original开头的JAR。
@@ -201,7 +202,7 @@ assembly.xml文件内容如下: ### 1. 使用非Maven仓库中的Jar -通常上面两种打包能够满足大多数的使用场景。但是如果你想把某些没有被Maven管理Jar包打入到最终的Jar中,比如你在`resources/lib`下引入的其他非Maven仓库中的Jar,此时可以使用`maven-jar-plugin`和`maven-dependency-plugin`插件将其打入最终的Jar中。 +通常上面两种打包能够满足大多数的使用场景。但是如果你想把某些没有被Maven管理JAR包打入到最终的JAR中,比如你在`resources/lib`下引入的其他非Maven仓库中的JAR,此时可以使用`maven-jar-plugin`和`maven-dependency-plugin`插件将其打入最终的JAR中。 ```xml @@ -247,7 +248,7 @@ assembly.xml文件内容如下: ### 2. 排除集群中已经存在的Jar -通常为了避免冲突,官方文档都会建议你排除集群中已经提供的Jar包,如下: +通常为了避免冲突,官方文档都会建议你排除集群中已经提供的JAR包,如下: Spark 官方文档 Submitting Applications 章节: @@ -257,14 +258,14 @@ Strom官方文档 Running Topologies on a Production Cluster 章节: >Then run mvn assembly:assembly to get an appropriately packaged jar. Make sure you exclude the Storm jars since the cluster already has Storm on the classpath. -排除Jar包的方式主要有以下两种: +按照以上说明,排除JAR包的方式主要有两种: -+ 对需要排除的Jar包依赖添加`provided`标签,此时该Jar包会被排除,但是不建议使用这种方式,因为此时你在本地运行也无法使用该Jar包; ++ 对需要排除的依赖添加`provided`标签,此时该JAR包会被排除,但是不建议使用这种方式,因为此时你在本地运行也无法使用该JAR包; + 建议直接在`maven-assembly-plugin`或`maven-shade-plugin`的配置文件中使用``进行排除。 -### 3. 打包.scala文件 +### 3. 打包Scala文件 -如果你使用到scala语言进行编程,此时需要特别注意 :默认情况下Maven是不会把`.scala`文件打入最终的Jar中,需要额外添加`maven-scala-plugin`插件,常用配置如下: +如果你使用到Scala语言进行编程,此时需要特别注意 :默认情况下Maven是不会把`scala`文件打入最终的JAR中,需要额外添加`maven-scala-plugin`插件,常用配置如下: ```xml