Update HDFS常用Shell命令.md
This commit is contained in:
parent
1d6b0f8928
commit
67ed426b70
@ -1,6 +1,6 @@
|
||||
# HDFS 常用 shell 命令
|
||||
|
||||
1. 显示当前目录结构
|
||||
**1. 显示当前目录结构**
|
||||
|
||||
```shell
|
||||
# 显示当前目录结构
|
||||
@ -11,7 +11,7 @@ hadoop fs -ls -R
|
||||
hadoop fs -ls /
|
||||
```
|
||||
|
||||
2. 创建目录
|
||||
**2. 创建目录**
|
||||
|
||||
```shell
|
||||
# 创建目录
|
||||
@ -20,7 +20,7 @@ hadoop fs -mkdir
|
||||
hadoop fs -mkdir -p
|
||||
```
|
||||
|
||||
3. 删除操作
|
||||
**3. 删除操作**
|
||||
|
||||
```shell
|
||||
# 删除文件
|
||||
@ -29,7 +29,7 @@ hadoop fs -rm
|
||||
hadoop fs -rm -R
|
||||
```
|
||||
|
||||
4. 从本地加载文件到HDFS
|
||||
**4. 从本地加载文件到HDFS**
|
||||
|
||||
```shell
|
||||
# 二选一执行即可
|
||||
@ -38,7 +38,7 @@ hadoop fs - copyFromLocal [localsrc] [dst]
|
||||
```
|
||||
|
||||
|
||||
5. 从HDFS导出文件到本地
|
||||
**5. 从HDFS导出文件到本地**
|
||||
|
||||
```shell
|
||||
# 二选一执行即可
|
||||
@ -46,7 +46,7 @@ hadoop fs -get [dst] [localsrc]
|
||||
hadoop fs -copyToLocal [dst] [localsrc]
|
||||
```
|
||||
|
||||
6. 查看文件内容
|
||||
**6. 查看文件内容**
|
||||
|
||||
```shell
|
||||
# 二选一执行即可
|
||||
@ -54,7 +54,7 @@ hadoop fs -text
|
||||
hadoop fs -cat
|
||||
```
|
||||
|
||||
7. 显示文件的最后一千字节
|
||||
**7. 显示文件的最后一千字节**
|
||||
|
||||
```shell
|
||||
hadoop fs -tail
|
||||
@ -62,26 +62,28 @@ hadoop fs -tail
|
||||
hadoop fs -tail -f
|
||||
```
|
||||
|
||||
8. 拷贝文件
|
||||
**8. 拷贝文件**
|
||||
|
||||
```shell
|
||||
hadoop fs -cp [src] [dst]
|
||||
```
|
||||
|
||||
9. 移动文件
|
||||
**9. 移动文件**
|
||||
|
||||
```shell
|
||||
hadoop fs -mv [src] [dst]
|
||||
```
|
||||
|
||||
|
||||
10. 统计当前目录下各文件大小,单位字节。 可选参数:-s 显示所有文件大小总和,-h 显示单位
|
||||
|
||||
**10. 统计当前目录下各文件大小**
|
||||
+ 默认单位字节
|
||||
+ -s : 显示所有文件大小总和,
|
||||
+ -h : 将以更友好的方式显示文件大小(例如64.0m而不是67108864)
|
||||
```shell
|
||||
hadoop fs -du
|
||||
```
|
||||
|
||||
11. 合并下载多个文件
|
||||
**11. 合并下载多个文件**
|
||||
+ -nl 在每个文件的末尾添加换行符(LF)
|
||||
+ -skip-empty-file 跳过空文件
|
||||
|
||||
@ -91,13 +93,13 @@ hadoop fs -getmerge
|
||||
hadoop fs -getmerge -nl /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml
|
||||
```
|
||||
|
||||
12. 统计文件系统的可用空间信息
|
||||
**12. 统计文件系统的可用空间信息**
|
||||
|
||||
```shell
|
||||
hadoop fs -df -h /
|
||||
```
|
||||
|
||||
13. 更改文件复制因子
|
||||
**13. 更改文件复制因子**
|
||||
```shell
|
||||
hadoop fs -setrep [-R] [-w] <numReplicas> <path>
|
||||
```
|
||||
@ -109,8 +111,9 @@ hadoop fs -setrep [-R] [-w] <numReplicas> <path>
|
||||
hadoop fs -setrep -w 3 /user/hadoop/dir1
|
||||
```
|
||||
|
||||
14. 权限控制,权限控制和Linux上使用方式一致
|
||||
**14. 权限控制**
|
||||
```shell
|
||||
# 权限控制和Linux上使用方式一致
|
||||
# 变更文件或目录的所属群组。 用户必须是文件的所有者或超级用户。
|
||||
hadoop fs -chgrp [-R] GROUP URI [URI ...]
|
||||
# 修改文件或目录的访问权限 用户必须是文件的所有者或超级用户。
|
||||
@ -119,7 +122,7 @@ hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
|
||||
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
|
||||
```
|
||||
|
||||
15. 文件检测
|
||||
**15. 文件检测**
|
||||
```shell
|
||||
hadoop fs -test - [defsz] URI
|
||||
```
|
||||
@ -135,4 +138,4 @@ hadoop fs -test - [defsz] URI
|
||||
```shell
|
||||
# 示例
|
||||
hadoop fs -test -e filename
|
||||
```
|
||||
```
|
||||
|
Loading…
x
Reference in New Issue
Block a user