blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Merge branch 'master' of github.com:heibaiying/BigData-Notes

Browse Source
This commit is contained in:
罗祥 2019-06-04 13:59:53 +08:00
commit b4399d8ab7
1 changed files with 3 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
notes/installation/Spark开发环境搭建.md
View File

@ -5,11 +5,12 @@
<a href="#二词频统计案例">二、词频统计案例</a><br/> <a href="#二词频统计案例">二、词频统计案例</a><br/>
<a href="#三Scala开发环境配置">三、Scala开发环境配置</a><br/> <a href="#三Scala开发环境配置">三、Scala开发环境配置</a><br/>
</nav> </nav>
## 一、安装Spark ## 一、安装Spark
### 1.1 下载并解压 ### 1.1 下载并解压
官方下载地址：http://spark.apache.org/downloads.html，选择Spark版本和对应的Hadoop版本后再下载： 官方下载地址：http://spark.apache.org/downloads.html ，选择Spark版本和对应的Hadoop版本后再下载：
<div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-download.png"/> </div> <div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-download.png"/> </div>
@ -42,7 +43,7 @@ export PATH=${SPARK_HOME}/bin:$PATH
### 1.3 Local模式 ### 1.3 Local模式
Local 模式是最简单的一种运行方式，它采用单节点多线程(cpu)方式运行，不用部署，开箱即用，适合日常测试开发。 Local 模式是最简单的一种运行方式，它采用单节点多线程方式运行，不用部署，开箱即用，适合日常测试开发。
```shell ```shell
# 启动spark-shell # 启动spark-shell
@ -64,9 +65,6 @@ val conf = new SparkConf().setAppName("Spark shell").setMaster("local[2]")
val sc = new SparkContext(conf) val sc = new SparkContext(conf)
``` ```
同时从输出的日志也可以看出来，Local模式还提供了对应的Web UI界面，端口为4040。
## 二、词频统计案例 ## 二、词频统计案例