Merge branch 'master' of github.com:heibaiying/BigData-Notes
This commit is contained in:
		| @@ -5,11 +5,12 @@ | ||||
| <a href="#二词频统计案例">二、词频统计案例</a><br/> | ||||
| <a href="#三Scala开发环境配置">三、Scala开发环境配置</a><br/> | ||||
| </nav> | ||||
|  | ||||
| ## 一、安装Spark | ||||
|  | ||||
| ### 1.1 下载并解压 | ||||
|  | ||||
| 官方下载地址:http://spark.apache.org/downloads.html,选择Spark版本和对应的Hadoop版本后再下载: | ||||
| 官方下载地址:http://spark.apache.org/downloads.html ,选择Spark版本和对应的Hadoop版本后再下载: | ||||
|  | ||||
| <div align="center"> <img width="600px" src="https://github.com/heibaiying/BigData-Notes/blob/master/pictures/spark-download.png"/> </div> | ||||
|  | ||||
| @@ -42,7 +43,7 @@ export  PATH=${SPARK_HOME}/bin:$PATH | ||||
|  | ||||
| ### 1.3 Local模式 | ||||
|  | ||||
| Local 模式是最简单的一种运行方式,它采用单节点多线程(cpu)方式运行,不用部署,开箱即用,适合日常测试开发。 | ||||
| Local 模式是最简单的一种运行方式,它采用单节点多线程方式运行,不用部署,开箱即用,适合日常测试开发。 | ||||
|  | ||||
| ```shell | ||||
| # 启动spark-shell | ||||
| @@ -64,9 +65,6 @@ val conf = new SparkConf().setAppName("Spark shell").setMaster("local[2]") | ||||
| val sc = new SparkContext(conf) | ||||
| ``` | ||||
|  | ||||
| 同时从输出的日志也可以看出来,Local模式还提供了对应的Web UI界面,端口为4040。 | ||||
|  | ||||
|  | ||||
|  | ||||
| ## 二、词频统计案例 | ||||
|  | ||||
|   | ||||
		Reference in New Issue
	
	Block a user