diff --git a/notes/Hadoop-YARN.md b/notes/Hadoop-YARN.md index 133a7b5..2dec680 100644 --- a/notes/Hadoop-YARN.md +++ b/notes/Hadoop-YARN.md @@ -101,6 +101,14 @@ YARN中的任务将其进度和状态(包括counter)返回给应用管理器, ## 五、提交作业到YARN上运行 +在${HADOOP_HOME}/share/hadoop/mapreduce 目录下,存放了样例文本,可以提交计算pi的MApReduce作业作为用例: + +```shell +# 提交格式为 +# hadoop jar jar包路径 主类名称 主类参数 +# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.2.jar pi 3 3 +``` + ## 参考资料 diff --git a/notes/installation/hadoop单机版本环境搭建.md b/notes/installation/hadoop单机版本环境搭建.md index 58fe03a..e434598 100644 --- a/notes/installation/hadoop单机版本环境搭建.md +++ b/notes/installation/hadoop单机版本环境搭建.md @@ -79,12 +79,21 @@ ssh-keygen -t rsa #### 3.2 解压软件压缩包 ```shell -tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz +# tar -zvxf hadoop-2.6.0-cdh5.15.2.tar.gz ``` -#### 3.3 修改Hadoop相关配置文件 +#### 3.3 把路径添加到环境变量 + +``` +export HADOOP_HOME=/usr/app/hadoop-2.6.0-cdh5.15.2 +export PATH=${HADOOP_HOME}/bin:$PATH +``` + + + +#### 3.4 修改Hadoop相关配置文件 cd 到 安装目录的/etc/hadoop/ 文件夹下: @@ -134,7 +143,7 @@ hadoop001 -#### 3.4 关闭防火墙 +#### 3.5 关闭防火墙 由于防火墙可能会影响节点间通讯,所以建议关闭,执行命令: @@ -147,7 +156,7 @@ sudo systemctl stop firewalld.service -#### 3.5 启动HDFS +#### 3.6 启动HDFS 1. 第一次执行的时候一定要格式化文件系统,执行以下命令格式化文件系统(hdfs命令位于安装目录的bin目录下)。 @@ -163,7 +172,7 @@ sudo systemctl stop firewalld.service -#### 3.6 验证是否启动成功 +#### 3.7 验证是否启动成功 方式一:执行jps 查看NameNode和DataNode的进程是否已经存在 @@ -210,6 +219,11 @@ etc/hadoop/yarn-site.xml: yarn.nodemanager.aux-services mapreduce_shuffle + + + yarn.nodemanager.local-dirs + /usr/app/tmp/nm-local-dir + ```