zookeeper常用shell操作
This commit is contained in:
luoxiang
parent
116b0b95a6
commit
c138b52713
12
code/Zookeeper/curator/pom.xml
Normal file
12
code/Zookeeper/curator/pom.xml
Normal file
@ -0,0 +1,12 @@
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<project xmlns="http://maven.apache.org/POM/4.0.0"
|
||||
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
|
||||
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
|
||||
<modelVersion>4.0.0</modelVersion>
|
||||
|
||||
<groupId>com.heibaiying</groupId>
|
||||
<artifactId>curator</artifactId>
|
||||
<version>1.0</version>
|
||||
|
||||
|
||||
</project>
|
||||
@ -2,17 +2,43 @@
|
||||
|
||||
## 一、节点增删改查
|
||||
|
||||
### 1.1 help命令
|
||||
### 1.1 启动服务和连接服务
|
||||
|
||||
```shell
|
||||
# 启动服务
|
||||
bin/zkServer.sh start
|
||||
|
||||
#连接服务 不指定服务地址则默认连接到localhost:2181
|
||||
zkCli.sh -server hadoop001:2181
|
||||
```
|
||||
|
||||
### 1.2 help命令
|
||||
|
||||
使用help命令可以查看所有支持的命令及其格式。
|
||||
|
||||
### 1.2 查看节点列表
|
||||
### 1.3 查看节点列表
|
||||
|
||||
查看节点列表有`ls path`和 `ls2 path`两个命令，后者是前者的增强，不仅可以查看指定路径下所有节点的列表，还可以查看当前节点的信息。
|
||||
|
||||
```shell
|
||||
ls path
|
||||
[zk: localhost:2181(CONNECTED) 0] ls /
|
||||
[cluster, controller_epoch, brokers, storm, zookeeper, admin, ...]
|
||||
[zk: localhost:2181(CONNECTED) 1] ls2 /
|
||||
[cluster, controller_epoch, brokers, storm, zookeeper, admin, ....]
|
||||
cZxid = 0x0
|
||||
ctime = Thu Jan 01 08:00:00 CST 1970
|
||||
mZxid = 0x0
|
||||
mtime = Thu Jan 01 08:00:00 CST 1970
|
||||
pZxid = 0x130
|
||||
cversion = 19
|
||||
dataVersion = 0
|
||||
aclVersion = 0
|
||||
ephemeralOwner = 0x0
|
||||
dataLength = 0
|
||||
numChildren = 11
|
||||
```
|
||||
|
||||
### 1.3 新增节点
|
||||
### 1.4 新增节点
|
||||
|
||||
```shell
|
||||
create [-s] [-e] path data acl #其中-s为有序节点，-e临时节点
|
||||
@ -42,7 +68,7 @@ Created /c0000000024
|
||||
Created /tmp
|
||||
```
|
||||
|
||||
### 1.4 查看节点
|
||||
### 1.5 查看节点
|
||||
|
||||
#### 1. 获取节点数据
|
||||
|
||||
@ -102,9 +128,9 @@ dataLength = 6
|
||||
numChildren = 0
|
||||
```
|
||||
|
||||
### 1.5 更新节点
|
||||
### 1.6 更新节点
|
||||
|
||||
更改节点和新增节点都是`set命令`，可以直接进行修改，如下：
|
||||
更新节点的命令是`set`，可以直接进行修改，如下：
|
||||
|
||||
```shell
|
||||
[zk: localhost:2181(CONNECTED) 33] set /hadoop 345
|
||||
@ -128,7 +154,7 @@ numChildren = 0
|
||||
version No is not valid : /hadoop #无效的版本号
|
||||
```
|
||||
|
||||
### 1.6 删除节点
|
||||
### 1.7 删除节点
|
||||
|
||||
删除节点的语法如下：
|
||||
|
||||
@ -145,13 +171,193 @@ version No is not valid : /hadoop #无效的版本号
|
||||
[zk: localhost:2181(CONNECTED) 38]
|
||||
```
|
||||
|
||||
要想删除某个节点及其所有后代节点，可以使用递归删除，命令为`rmr path`。
|
||||
|
||||
## 二、监听器
|
||||
|
||||
### 2.1 get path [watch]
|
||||
|
||||
使用`get path [watch]`注册的监听器能够在节点内容发生改变的时候，向客户端发出通知。需要注意的是zookeeper的触发器是一次性的(One-time trigger)，即触发一次后就会立即失效。
|
||||
|
||||
```shell
|
||||
[zk: localhost:2181(CONNECTED) 4] get /hadoop watch
|
||||
[zk: localhost:2181(CONNECTED) 5] set /hadoop 45678
|
||||
WATCHER::
|
||||
WatchedEvent state:SyncConnected type:NodeDataChanged path:/hadoop #节点值改变
|
||||
```
|
||||
|
||||
### 2.2 stat path [watch]
|
||||
|
||||
使用`stat path [watch]`注册的监听器能够在节点状态发生改变的时候，向客户端发出通知。
|
||||
|
||||
```shell
|
||||
[zk: localhost:2181(CONNECTED) 7] stat /hadoop watch
|
||||
[zk: localhost:2181(CONNECTED) 8] set /hadoop 112233
|
||||
WATCHER::
|
||||
WatchedEvent state:SyncConnected type:NodeDataChanged path:/hadoop #节点值改变
|
||||
```
|
||||
|
||||
### 2.3 ls\ls2 path [watch]
|
||||
|
||||
使用`ls path [watch]`或`ls2 path [watch]`注册的监听器能够监听该节点下所有**子节点**的增加和删除操作。
|
||||
|
||||
```shell
|
||||
[zk: localhost:2181(CONNECTED) 9] ls /hadoop watch
|
||||
[]
|
||||
[zk: localhost:2181(CONNECTED) 10] create /hadoop/yarn "aaa"
|
||||
WATCHER::
|
||||
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/hadoop
|
||||
```
|
||||
|
||||
|
||||
|
||||
## 三、权限管理
|
||||
|
||||
### 3.1 设置与查看权限
|
||||
|
||||
想要给某个节点设置权限(ACL)，有以下两个可选的命令：
|
||||
|
||||
```shell
|
||||
# 1.给已有节点赋予权限
|
||||
setAcl path acl
|
||||
|
||||
# 2.在创建节点时候指定权限
|
||||
create [-s] [-e] path data acl
|
||||
```
|
||||
|
||||
查看指定节点的权限命令如下：
|
||||
|
||||
```shell
|
||||
getAcl path
|
||||
```
|
||||
|
||||
### 3.2 权限组成
|
||||
|
||||
Zookeeper的权限由[scheme : id :permissions]三部分组成，其中Schemes和Permissions内置的可选项分别如下：
|
||||
|
||||
Permissions可选项：
|
||||
|
||||
- CREATE：允许创建子节点；
|
||||
- READ：允许从节点获取数据并列出其子节点；
|
||||
- WRITE：允许为节点设置数据；
|
||||
- DELETE：允许删除子节点；
|
||||
- ADMIN：允许为节点设置权限。
|
||||
|
||||
Schemes可选项：
|
||||
|
||||
- world：默认模式, 所有客户端都拥有指定权限。world下只有一个id选项，就是anyone，通常组合写法为`world:anyone:[permissons]`；
|
||||
- auth：只有经过认证的用户, 才拥有指定的权限。通常组合写法为`auth:user:password:[permissons]`，使用这种模式时，你需要先进行登录，之后采用auth模式时，user和password都将使用登录的用户名和密码；
|
||||
- digest：只有经过认证的用户, 才拥有指定的权限。通常组合写法为`auth:user:BASE64(SHA1(password)):[permissons]`,这种形式下的密码必须通过SHA1和BASE64进行双重加密；
|
||||
- ip：限制只有特定IP的客户端才拥有指定的权限。通常组成写法为`ip:182.168.0.168:[permissions]`；
|
||||
- super：代表超级管理员，拥有所有的权限，需要修改Zookeeper启动脚本进行配置。
|
||||
|
||||
|
||||
|
||||
## 五、 zookeeper 四字命令
|
||||
### 3.3 添加认证信息
|
||||
|
||||
可以使用如下所示的命令为当前Session添加用户认证信息，等价于登录操作。
|
||||
|
||||
```shell
|
||||
# 格式
|
||||
addauth scheme auth
|
||||
|
||||
#示例：添加用户名为heibai,密码为root的用户认证信息
|
||||
addauth digest heibai:root
|
||||
```
|
||||
|
||||
|
||||
|
||||
### 3.4 权限设置示例
|
||||
|
||||
#### 1. world模式
|
||||
|
||||
world是一种默认的模式，即创建时如果不指定权限，则默认的权限就是world。
|
||||
|
||||
```shell
|
||||
[zk: localhost:2181(CONNECTED) 32] create /hadoop 123
|
||||
Created /hadoop
|
||||
[zk: localhost:2181(CONNECTED) 33] getAcl /hadoop
|
||||
'world,'anyone #默认的权限
|
||||
: cdrwa
|
||||
[zk: localhost:2181(CONNECTED) 34] setAcl /hadoop world:anyone:cwda # 修改节点，不允许所有客户端读
|
||||
....
|
||||
[zk: localhost:2181(CONNECTED) 35] get /hadoop
|
||||
Authentication is not valid : /hadoop # 权限不足
|
||||
|
||||
```
|
||||
|
||||
#### 2. auth模式
|
||||
|
||||
```shell
|
||||
[zk: localhost:2181(CONNECTED) 36] addauth digest heibai:heibai # 登录
|
||||
[zk: localhost:2181(CONNECTED) 37] setAcl /hadoop auth::cdrwa # 设置权限
|
||||
[zk: localhost:2181(CONNECTED) 38] getAcl /hadoop # 获取权限
|
||||
'digest,'heibai:sCxtVJ1gPG8UW/jzFHR0A1ZKY5s= #用户名和密码(密码经过加密处理)，注意返回的权限类型是digest
|
||||
: cdrwa
|
||||
|
||||
#用户名和密码都是使用登录的用户名和密码，即使你在创建权限时候进行指定也是无效的
|
||||
[zk: localhost:2181(CONNECTED) 39] setAcl /hadoop auth:root:root:cdrwa #指定用户名和密码为root
|
||||
[zk: localhost:2181(CONNECTED) 40] getAcl /hadoop
|
||||
'digest,'heibai:sCxtVJ1gPG8UW/jzFHR0A1ZKY5s= #无效，使用的用户名和密码依然还是heibai
|
||||
: cdrwa
|
||||
|
||||
```
|
||||
|
||||
#### 3. digest模式
|
||||
|
||||
```shell
|
||||
[zk:44] create /spark "spark" digest:heibai:sCxtVJ1gPG8UW/jzFHR0A1ZKY5s=:cdrwa #指定用户名和加密后的密码
|
||||
[zk:45] getAcl /spark #获取权限
|
||||
'digest,'heibai:sCxtVJ1gPG8UW/jzFHR0A1ZKY5s= # 返回的权限类型是digest
|
||||
: cdrwa
|
||||
```
|
||||
|
||||
到这里你可以发现使用auth模式设置的权限和使用digest模式设置的权限，在最终结果上，得到的权限模式都是`digest`。某种程度上，你可以把auth模式理解成是digest模式的一种简便实现。因为在digest模式下，每次设置都需要书写用户名和加密后的密码，这是比较繁琐的，采用auth模式，则可以在登录一次后就可以不用重复书写了。
|
||||
|
||||
#### 4. ip模式
|
||||
|
||||
限定只有特定的ip才能访问。
|
||||
|
||||
```shell
|
||||
[zk: localhost:2181(CONNECTED) 46] create /hive "hive" ip:192.168.0.108:cdrwa
|
||||
[zk: localhost:2181(CONNECTED) 47] get /hive
|
||||
Authentication is not valid : /hive # 当前主机已经不能访问
|
||||
```
|
||||
|
||||
这里可以使用限定IP的主机客户端进行访问，也可以使用下面的super模式配置超级管理员进行访问。
|
||||
|
||||
#### 5. super模式
|
||||
|
||||
需要修改启动脚本`zkServer.sh`,在指定位置添加管理员账户和密码信息：
|
||||
|
||||
```shell
|
||||
"-Dzookeeper.DigestAuthenticationProvider.superDigest=heibai:sCxtVJ1gPG8UW/jzFHR0A1ZKY5s="
|
||||
```
|
||||
|
||||
|
||||
|
||||
修改完成后需要使用`zkServer.sh restart`重启服务，此时再次访问限制IP的节点：
|
||||
|
||||
```shell
|
||||
[zk: localhost:2181(CONNECTED) 0] get /hive #访问受限
|
||||
Authentication is not valid : /hive
|
||||
[zk: localhost:2181(CONNECTED) 1] addauth digest heibai:heibai # 登录(添加认证信息)
|
||||
[zk: localhost:2181(CONNECTED) 2] get /hive #成功访问
|
||||
hive
|
||||
cZxid = 0x158
|
||||
ctime = Sat May 25 09:11:29 CST 2019
|
||||
mZxid = 0x158
|
||||
mtime = Sat May 25 09:11:29 CST 2019
|
||||
pZxid = 0x158
|
||||
cversion = 0
|
||||
dataVersion = 0
|
||||
aclVersion = 0
|
||||
ephemeralOwner = 0x0
|
||||
dataLength = 4
|
||||
numChildren = 0
|
||||
```
|
||||
|
||||
## 四、 zookeeper 四字命令
|
||||
|
||||
| 命令 | 功能描述 |
|
||||
| ---- | ------------------------------------------------------------ |
|
||||
@ -167,7 +373,7 @@ version No is not valid : /hadoop #无效的版本号
|
||||
|
||||
> 更多四字命令可以参阅官方文档：https://zookeeper.apache.org/doc/current/zookeeperAdmin.html
|
||||
|
||||
使用前需要使用 `yum install nc` 安装 nc 命令：
|
||||
使用前需要使用 `yum install nc` 安装 nc 命令，使用示例如下：
|
||||
|
||||
```shell
|
||||
[root@hadoop001 bin]# echo stat | nc localhost 2181
|
||||
|
||||
BIN
pictures/zookeeper-super.png
Normal file
BIN
pictures/zookeeper-super.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 28 KiB |
Loading…
x
Reference in New Issue
Block a user