blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

modify

Browse Source
This commit is contained in:
罗祥 2019-03-18 18:00:01 +08:00
parent 2e4cd523c1
commit 61006f28dc
2 changed files with 27 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
notes/Hadoop-YARN.md
View File

@ -101,6 +101,14 @@ YARN中的任务将其进度和状态(包括counter)返回给应用管理器,
## 五、提交作业到YARN上运行 ## 五、提交作业到YARN上运行
在${HADOOP_HOME}/share/hadoop/mapreduce 目录下，存放了样例文本，可以提交计算pi的MApReduce作业作为用例：
```shell
# 提交格式为
# hadoop jar jar包路径 主类名称 主类参数
# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.2.jar pi 3 3
```
## 参考资料 ## 参考资料

24
notes/installation/hadoop单机版本环境搭建.md
View File

@ -79,12 +79,21 @@ ssh-keygen -t rsa
#### 3.2 解压软件压缩包 #### 3.2 解压软件压缩包
```shell ```shell
tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz # tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz
``` ```
#### 3.3 修改Hadoop相关配置文件 #### 3.3 把路径添加到环境变量
```
export HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2
export PATH=${HADOOP_HOME}/bin:$PATH
```
#### 3.4 修改Hadoop相关配置文件
cd 到 安装目录的/etc/hadoop/ 文件夹下： cd 到 安装目录的/etc/hadoop/ 文件夹下：
@ -134,7 +143,7 @@ hadoop001
#### 3.4 关闭防火墙 #### 3.5 关闭防火墙
由于防火墙可能会影响节点间通讯，所以建议关闭，执行命令： 由于防火墙可能会影响节点间通讯，所以建议关闭，执行命令：
@ -147,7 +156,7 @@ sudo systemctl stop firewalld.service
#### 3.5 启动HDFS #### 3.6 启动HDFS
1. 第一次执行的时候一定要格式化文件系统，执行以下命令格式化文件系统（hdfs命令位于安装目录的bin目录下）。 1. 第一次执行的时候一定要格式化文件系统，执行以下命令格式化文件系统（hdfs命令位于安装目录的bin目录下）。
@ -163,7 +172,7 @@ sudo systemctl stop firewalld.service
#### 3.6 验证是否启动成功 #### 3.7 验证是否启动成功
方式一：执行jps 查看NameNode和DataNode的进程是否已经存在 方式一：执行jps 查看NameNode和DataNode的进程是否已经存在
@ -210,6 +219,11 @@ etc/hadoop/yarn-site.xml:
<name>yarn.nodemanager.aux-services</name> <name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value> <value>mapreduce_shuffle</value>
</property> </property>
<!--这个目录需要和上面配置的hadoop.tmp.dir的路径保持一致-->
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/usr/app/tmp/nm-local-dir</value>
</property>
</configuration> </configuration>
``` ```