Update HDFS常用Shell命令.md

This commit is contained in:
heibaiying 2019-04-10 22:43:53 +08:00 committed by GitHub
parent 1d6b0f8928
commit 67ed426b70
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23

View File

@ -1,6 +1,6 @@
# HDFS 常用 shell 命令
1. 显示当前目录结构
**1. 显示当前目录结构**
```shell
# 显示当前目录结构
@ -11,7 +11,7 @@ hadoop fs -ls -R
hadoop fs -ls /
```
2. 创建目录
**2. 创建目录**
```shell
# 创建目录
@ -20,7 +20,7 @@ hadoop fs -mkdir
hadoop fs -mkdir -p
```
3. 删除操作
**3. 删除操作**
```shell
# 删除文件
@ -29,7 +29,7 @@ hadoop fs -rm
hadoop fs -rm -R
```
4. 从本地加载文件到HDFS
**4. 从本地加载文件到HDFS**
```shell
# 二选一执行即可
@ -38,7 +38,7 @@ hadoop fs - copyFromLocal [localsrc] [dst]
```
5. 从HDFS导出文件到本地
**5. 从HDFS导出文件到本地**
```shell
# 二选一执行即可
@ -46,7 +46,7 @@ hadoop fs -get [dst] [localsrc]
hadoop fs -copyToLocal [dst] [localsrc]
```
6. 查看文件内容
**6. 查看文件内容**
```shell
# 二选一执行即可
@ -54,7 +54,7 @@ hadoop fs -text
hadoop fs -cat
```
7. 显示文件的最后一千字节
**7. 显示文件的最后一千字节**
```shell
hadoop fs -tail
@ -62,26 +62,28 @@ hadoop fs -tail
hadoop fs -tail -f
```
8. 拷贝文件
**8. 拷贝文件**
```shell
hadoop fs -cp [src] [dst]
```
9. 移动文件
**9. 移动文件**
```shell
hadoop fs -mv [src] [dst]
```
10. 统计当前目录下各文件大小,单位字节。 可选参数:-s 显示所有文件大小总和,-h 显示单位
**10. 统计当前目录下各文件大小**
+ 默认单位字节
+ -s : 显示所有文件大小总和,
+ -h : 将以更友好的方式显示文件大小例如64.0m而不是67108864
```shell
hadoop fs -du
```
11. 合并下载多个文件
**11. 合并下载多个文件**
+ -nl 在每个文件的末尾添加换行符LF
+ -skip-empty-file 跳过空文件
@ -91,13 +93,13 @@ hadoop fs -getmerge
hadoop fs -getmerge -nl /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml
```
12. 统计文件系统的可用空间信息
**12. 统计文件系统的可用空间信息**
```shell
hadoop fs -df -h /
```
13. 更改文件复制因子
**13. 更改文件复制因子**
```shell
hadoop fs -setrep [-R] [-w] <numReplicas> <path>
```
@ -109,8 +111,9 @@ hadoop fs -setrep [-R] [-w] <numReplicas> <path>
hadoop fs -setrep -w 3 /user/hadoop/dir1
```
14. 权限控制权限控制和Linux上使用方式一致
**14. 权限控制**
```shell
# 权限控制和Linux上使用方式一致
# 变更文件或目录的所属群组。 用户必须是文件的所有者或超级用户。
hadoop fs -chgrp [-R] GROUP URI [URI ...]
# 修改文件或目录的访问权限 用户必须是文件的所有者或超级用户。
@ -119,7 +122,7 @@ hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
```
15. 文件检测
**15. 文件检测**
```shell
hadoop fs -test - [defsz] URI
```
@ -135,4 +138,4 @@ hadoop fs -test - [defsz] URI
```shell
# 示例
hadoop fs -test -e filename
```
```