大数据应用常用打包方式

notes/大数据应用常用打包方式.md

@@ -8,15 +8,16 @@
 <a href="#五其他打包需求">五、其他打包需求</a><br/>
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#1-使用非Maven仓库中的Jar">1. 使用非Maven仓库中的Jar</a><br/>
 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#2-排除集群中已经存在的Jar">2. 排除集群中已经存在的Jar</a><br/>
-&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#3-打包scala文件">3. 打包.scala文件</a><br/>
+&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<a href="#3-打包Scala文件">3. 打包Scala文件</a><br/>
 </nav>
 
 
 
 
+
 ## 一、简介
 
-在提交大数据作业到集群中运行时，通常都需要先将项目打成Jar包。Java项目通常采用Maven进行构建，Maven提供的常用打包方式及插件有以下四种：
+在提交大数据作业到集群上运行时，通常需要先将项目打成JAR包。这里以Maven为例，常用打包方式如下：
 
 - 不加任何插件，直接使用mvn package打包；
 - 使用maven-assembly-plugin插件；
@@ -27,11 +28,11 @@
 
 ## 二、mvn package
 
-不在POM中配置任何插件，直接使用`mvn package`进行项目打包，这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方JAR包，就会出现问题，因为`mvn package`打的Jar包中是不含有依赖包，会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大，因为实际的项目往往很复杂，通常都会依赖第三方Jar。
+不在POM中配置任何插件，直接使用`mvn package`进行项目打包，这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方JAR包，就会出现问题，因为`mvn package`打的JAR包中是不含有依赖包，会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大，因为实际的项目往往很复杂，通常都会依赖第三方JAR。
 
-大数据框架的开发者也考虑到这个问题，所以基本所有的框架都支持在提交作业时使用`--jars`指定第三方依赖包，但是这种方式的问题同样很明显，就是你必须保持生产环境与开发环境中的所有Jar包版本一致，这是有维护成本的。
+大数据框架的开发者也考虑到这个问题，所以基本所有的框架都支持在提交作业时使用`--jars`指定第三方依赖包，但是这种方式的问题同样很明显，就是你必须保持生产环境与开发环境中的所有JAR包版本一致，这是有维护成本的。
 
-基于上面这些原因，最简单的是采用`All In One`的打包方式，把所有依赖都打包到一个Jar文件中，此时对环境的依赖性最小。要实现这个目的，可以使用Maven提供的`maven-assembly-plugin`或`maven-shade-plugin`插件。
+基于上面这些原因，最简单的是采用`All In One`的打包方式，把所有依赖都打包到一个JAR文件中，此时对环境的依赖性最小。要实现这个目的，可以使用Maven提供的`maven-assembly-plugin`或`maven-shade-plugin`插件。
 
 ## 三、maven-assembly-plugin插件
 
@@ -48,7 +49,7 @@
 - war
 
 ### 3.1 基本使用
-在POM.xml中引入插件，指定打包格式的配置文件`assembly.xml`(名称可自定义)，并指定作业的主入口类。
+在POM.xml中引入插件，指定打包格式的配置文件`assembly.xml`(名称可自定义)，并指定作业的主入口类：
 
 ```xml
 <build>
@@ -176,10 +177,10 @@ assembly.xml文件内容如下：
 </plugin>
 ```
 
-以上配置来源于Storm的Github仓库，在上面的配置中，排除了部分文件，这是因为有些JAR包生成时，会使用jarsigner生成文件签名(完成性校验)，分为两个文件存放在META-INF目录下：
+以上配置来源于Storm Github，在上面的配置中，排除了部分文件，这是因为有些JAR包生成时，会使用jarsigner生成文件签名(完成性校验)，分为两个文件存放在META-INF目录下：
 
 - a signature file, with a .SF extension；
-- a signature block file, with a .DSA, .RSA, or .EC extension；
+- a signature block file, with a .DSA, .RSA, or .EC extension。
 
 如果某些包的存在重复引用，这可能会导致在打包时候出现`Invalid signature file digest for Manifest main attributes`异常，所以在配置中排除这些文件。
 
@@ -191,7 +192,7 @@ assembly.xml文件内容如下：
 # mvn package
 ```
 
-打包后会生成两个JAR包，提交到服务器集群时使用非original开头的Jar。
+打包后会生成两个JAR包，提交到服务器集群时使用非original开头的JAR。
 
 <div align="center"> <img  src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/storm-jar2.png"/> </div>
 
@@ -201,7 +202,7 @@ assembly.xml文件内容如下：
 
 ### 1. 使用非Maven仓库中的Jar
 
-通常上面两种打包能够满足大多数的使用场景。但是如果你想把某些没有被Maven管理Jar包打入到最终的Jar中，比如你在`resources/lib`下引入的其他非Maven仓库中的Jar，此时可以使用`maven-jar-plugin`和`maven-dependency-plugin`插件将其打入最终的Jar中。
+通常上面两种打包能够满足大多数的使用场景。但是如果你想把某些没有被Maven管理JAR包打入到最终的JAR中，比如你在`resources/lib`下引入的其他非Maven仓库中的JAR，此时可以使用`maven-jar-plugin`和`maven-dependency-plugin`插件将其打入最终的JAR中。
 
 ```xml
 <build>
@@ -247,7 +248,7 @@ assembly.xml文件内容如下：
 
 ### 2. 排除集群中已经存在的Jar
 
-通常为了避免冲突，官方文档都会建议你排除集群中已经提供的Jar包，如下：
+通常为了避免冲突，官方文档都会建议你排除集群中已经提供的JAR包，如下：
 
 Spark 官方文档 Submitting Applications 章节: 
 
@@ -257,14 +258,14 @@ Strom官方文档 Running Topologies on a Production Cluster 章节：
 
 >Then run mvn assembly:assembly to get an appropriately packaged jar. Make sure you exclude the Storm jars since the cluster already has Storm on the classpath.
 
-排除Jar包的方式主要有以下两种：
+按照以上说明，排除JAR包的方式主要有两种：
 
-+ 对需要排除的Jar包依赖添加`<scope>provided</scope>`标签，此时该Jar包会被排除，但是不建议使用这种方式，因为此时你在本地运行也无法使用该Jar包；
++ 对需要排除的依赖添加`<scope>provided</scope>`标签，此时该JAR包会被排除，但是不建议使用这种方式，因为此时你在本地运行也无法使用该JAR包；
 + 建议直接在`maven-assembly-plugin`或`maven-shade-plugin`的配置文件中使用`<exclude>`进行排除。
 
-### 3. 打包.scala文件
+### 3. 打包Scala文件
 
-如果你使用到scala语言进行编程，此时需要特别注意 ：默认情况下Maven是不会把`.scala`文件打入最终的Jar中，需要额外添加`maven-scala-plugin`插件，常用配置如下：
+如果你使用到Scala语言进行编程，此时需要特别注意 ：默认情况下Maven是不会把`scala`文件打入最终的JAR中，需要额外添加`maven-scala-plugin`插件，常用配置如下：
 
 ```xml
 <plugin>