blog/BigData-Notes
2
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Update HDFS常用Shell命令.md

Browse Source
This commit is contained in:
heibaiying 2019-04-10 22:43:53 +08:00 committed by GitHub
parent 1d6b0f8928
commit 67ed426b70
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
1 changed files with 20 additions and 17 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

37
notes/HDFS常用Shell命令.md
View File

@ -1,6 +1,6 @@
# HDFS 常用 shell 命令 # HDFS 常用 shell 命令
1. 显示当前目录结构 **1. 显示当前目录结构**
```shell ```shell
# 显示当前目录结构 # 显示当前目录结构
@ -11,7 +11,7 @@ hadoop fs -ls -R
hadoop fs -ls / hadoop fs -ls /
``` ```
2. 创建目录 **2. 创建目录**
```shell ```shell
# 创建目录 # 创建目录
@ -20,7 +20,7 @@ hadoop fs -mkdir
hadoop fs -mkdir -p hadoop fs -mkdir -p
``` ```
3. 删除操作 **3. 删除操作**
```shell ```shell
# 删除文件 # 删除文件
@ -29,7 +29,7 @@ hadoop fs -rm
hadoop fs -rm -R hadoop fs -rm -R
``` ```
4. 从本地加载文件到HDFS **4. 从本地加载文件到HDFS**
```shell ```shell
# 二选一执行即可 # 二选一执行即可
@ -38,7 +38,7 @@ hadoop fs - copyFromLocal [localsrc] [dst]
``` ```
5. 从HDFS导出文件到本地 **5. 从HDFS导出文件到本地**
```shell ```shell
# 二选一执行即可 # 二选一执行即可
@ -46,7 +46,7 @@ hadoop fs -get [dst] [localsrc]
hadoop fs -copyToLocal [dst] [localsrc] hadoop fs -copyToLocal [dst] [localsrc]
``` ```
6. 查看文件内容 **6. 查看文件内容**
```shell ```shell
# 二选一执行即可 # 二选一执行即可
@ -54,7 +54,7 @@ hadoop fs -text
hadoop fs -cat hadoop fs -cat
``` ```
7. 显示文件的最后一千字节 **7. 显示文件的最后一千字节**
```shell ```shell
hadoop fs -tail hadoop fs -tail
@ -62,26 +62,28 @@ hadoop fs -tail
hadoop fs -tail -f hadoop fs -tail -f
``` ```
8. 拷贝文件 **8. 拷贝文件**
```shell ```shell
hadoop fs -cp [src] [dst] hadoop fs -cp [src] [dst]
``` ```
9. 移动文件 **9. 移动文件**
```shell ```shell
hadoop fs -mv [src] [dst] hadoop fs -mv [src] [dst]
``` ```
10. 统计当前目录下各文件大小，单位字节。 可选参数：-s 显示所有文件大小总和，-h 显示单位 **10. 统计当前目录下各文件大小**
+ 默认单位字节
+ -s : 显示所有文件大小总和，
+ -h : 将以更友好的方式显示文件大小（例如64.0m而不是67108864）
```shell ```shell
hadoop fs -du hadoop fs -du
``` ```
11. 合并下载多个文件 **11. 合并下载多个文件**
+ -nl 在每个文件的末尾添加换行符（LF） + -nl 在每个文件的末尾添加换行符（LF）
+ -skip-empty-file 跳过空文件 + -skip-empty-file 跳过空文件
@ -91,13 +93,13 @@ hadoop fs -getmerge
hadoop fs -getmerge -nl /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml hadoop fs -getmerge -nl /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml
``` ```
12. 统计文件系统的可用空间信息 **12. 统计文件系统的可用空间信息**
```shell ```shell
hadoop fs -df -h / hadoop fs -df -h /
``` ```
13. 更改文件复制因子 **13. 更改文件复制因子**
```shell ```shell
hadoop fs -setrep [-R] [-w] <numReplicas> <path> hadoop fs -setrep [-R] [-w] <numReplicas> <path>
``` ```
@ -109,8 +111,9 @@ hadoop fs -setrep [-R] [-w] <numReplicas> <path>
hadoop fs -setrep -w 3 /user/hadoop/dir1 hadoop fs -setrep -w 3 /user/hadoop/dir1
``` ```
14. 权限控制，权限控制和Linux上使用方式一致 **14. 权限控制**
```shell ```shell
# 权限控制和Linux上使用方式一致
# 变更文件或目录的所属群组。 用户必须是文件的所有者或超级用户。 # 变更文件或目录的所属群组。 用户必须是文件的所有者或超级用户。
hadoop fs -chgrp [-R] GROUP URI [URI ...] hadoop fs -chgrp [-R] GROUP URI [URI ...]
# 修改文件或目录的访问权限 用户必须是文件的所有者或超级用户。 # 修改文件或目录的访问权限 用户必须是文件的所有者或超级用户。
@ -119,7 +122,7 @@ hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ] hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
``` ```
15. 文件检测 **15. 文件检测**
```shell ```shell
hadoop fs -test - [defsz] URI hadoop fs -test - [defsz] URI
``` ```
@ -135,4 +138,4 @@ hadoop fs -test - [defsz] URI
```shell ```shell
# 示例 # 示例
hadoop fs -test -e filename hadoop fs -test -e filename
``` ```