更新
This commit is contained in:
parent
37056237bb
commit
9e54ad2ffe
GPG Key ID:
931C79A9747F5F82
85
hive/dataGrip连接hive带kerberos认证.md
Normal file
85
hive/dataGrip连接hive带kerberos认证.md
Normal file
@ -0,0 +1,85 @@
|
||||
# dataGrip连接hive带kerberos认证
|
||||
|
||||
### dataGrip 连接带kerberos认证的hive
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
首先使用 dbeaver 的hive 驱动 （[下载地址](https://github.com/timveil/hive-jdbc-uber-jar/releases/download/v1.9-2.6.5/hive-jdbc-uber-2.6.5.0-292.jar)） 别的驱动测试不成功，
|
||||
|
||||
|
||||
|
||||
准备kerberos的认证信息，
|
||||
|
||||
kerberos 主体、认证密钥 keytab文件，jaas配置文件
|
||||
|
||||
jaas配置文件如下：
|
||||
|
||||
```
|
||||
|
||||
DataGrip {
|
||||
com.sun.security.auth.module.Krb5LoginModule required
|
||||
useKeyTab=true
|
||||
keyTab="D:\ckw\kn\kn\cuayilinghsd.keytab"
|
||||
principal="cuayilinghsd@CUA-KDCSERVER.COM"
|
||||
doNotPrompt=true
|
||||
useTicketCache=true
|
||||
debug=true;
|
||||
};
|
||||
|
||||
```
|
||||
|
||||
将上述配置文件中的`keyTab` `principal` 替换成之前准备的。
|
||||
|
||||
|
||||
|
||||
使用刚刚下载驱动文件创建一个数据源
|
||||
|
||||
url 如下：
|
||||
|
||||
```
|
||||
jdbc:hive2://bigdata57.cua.internal:10000/;principal=hive/bigdata57.cua.internal@CUA-KDCSERVER.COM
|
||||
```
|
||||
|
||||
`hive/bigdata57.cua.internal@CUA-KDCSERVER.COM` 为固定值。
|
||||
|
||||
`bigdata57.cua.internal:10000` hive 地址与端口
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
然后在高级配置里添加
|
||||
|
||||
jvm 参数
|
||||
|
||||
```
|
||||
-Djava.security.krb5.conf=C:\ProgramData\MIT\Kerberos5\krb5.ini
|
||||
-Dsun.security.krb5.debug=true
|
||||
```
|
||||
|
||||
`C:\ProgramData\MIT\Kerberos5\krb5.ini` 为kerberos 服务的配置文件
|
||||
|
||||
```
|
||||
[libdefaults]
|
||||
default_realm = CUA-KDCSERVER.COM
|
||||
|
||||
[realms]
|
||||
CUA-KDCSERVER.COM = {
|
||||
kdc = 10.111.15.61:88
|
||||
admin_server = 10.111.15.61:754
|
||||
default_domain = CUA-KDCSERVER.COM
|
||||
}
|
||||
|
||||
[domain_realm]
|
||||
.example.com = CUA-KDCSERVER.COM
|
||||
example.com = CUA-KDCSERVER.COM
|
||||
|
||||
```
|
||||
|
||||
|
||||
|
||||
点击测试连接，完成hive数据源的添加。
|
||||
@ -91,6 +91,11 @@ mkfs.ext3 /dev/sdb
|
||||
|
||||
挂载分区
|
||||
|
||||
编辑文件
|
||||
```bash
|
||||
vim /etc/fstab
|
||||
```
|
||||
|
||||
```bash
|
||||
/dev/sdb1 /opt ext4 defaults 0 0
|
||||
```
|
||||
@ -106,7 +111,12 @@ mount /dev/sdb1 /Public2
|
||||
### lsblk 命令
|
||||
|
||||
查看硬盘信息
|
||||
|
||||
```
|
||||
lsblk
|
||||
```
|
||||
```
|
||||
lsblk -f
|
||||
```
|
||||
```
|
||||
[root@worker ~]# lsblk
|
||||
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
|
||||
|
||||
@ -1,4 +1,4 @@
|
||||
### 数据库导出
|
||||
## 数据库导出
|
||||
|
||||
#### 链接信息
|
||||
|
||||
@ -365,10 +365,6 @@ pattern参数
|
||||
|
||||
|
||||
|
||||
#### psql
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
#### pg_restore
|
||||
@ -628,10 +624,14 @@ psql -Uicctestedb -dicctestedb -h192.168.53.123 -f ~/
|
||||
|
||||
|
||||
|
||||
### 实操数据导入导出
|
||||
|
||||
### 整库导出
|
||||
|
||||
使用 pg_dump 与 pg_restore 完成数据转移，适合整表 整库 迁移
|
||||
|
||||
#### 数据导出
|
||||
|
||||
|
||||
|
||||
```shell
|
||||
#导出 iccedb库
|
||||
# -O 不设置表归属,
|
||||
@ -651,8 +651,10 @@ psql -Uicctestedb -dicctestedb -h192.168.53.123 -f ~/
|
||||
#-c 指定恢复过程中清空目标数据库中的现有表
|
||||
#--strict-names 指定严格遵守输入文件中的名称规范
|
||||
#~/icc_data_20220719_test.sql 指定要恢复的输入文件路径
|
||||
#-n revenue_mgt 恢复 revenue_mgt schema
|
||||
#-j 4 并行化操作
|
||||
|
||||
./pg_restore -Uenterprisedb -dtest2 -h10.23.101.119 -F c -c -v --strict-names ~/icc_data_20220719_test.sql
|
||||
./pg_restore -Uenterprisedb -dtest2 -h10.23.101.119 -j4 -nrevenue_mgt -F c -c -v --strict-names ~/icc_data_20220719_test.sql
|
||||
```
|
||||
|
||||
|
||||
@ -663,21 +665,23 @@ psql -Uicctestedb -dicctestedb -h192.168.53.123 -f ~/
|
||||
|
||||
|
||||
|
||||
#### COPY 导出导出部分数据
|
||||
### 部分数据导出
|
||||
|
||||
COPY
|
||||
|
||||
```sh
|
||||
sudo su - enterprisedb
|
||||
psql edb
|
||||
```
|
||||
|
||||
##### 导出
|
||||
#### COPY 导出
|
||||
|
||||
```sql
|
||||
COPY (select * from icc.tcn_stat
|
||||
where afferent_date between to_date('20220701','yyyymmdd') and to_date('20220714','yyyymmdd') ) TO '/home/edbdata/test.csv' WITH csv;
|
||||
```
|
||||
|
||||
##### 导入
|
||||
#### COPY 导入
|
||||
|
||||
```sql
|
||||
COPY tcn_stat_sales_volume_total FROM '/home/edbdata/tcn_stat_sales_volume_total.csv' WITH csv;
|
||||
|
||||
51
postgresql_and_edb/psql_常用命令.md
Normal file
51
postgresql_and_edb/psql_常用命令.md
Normal file
@ -0,0 +1,51 @@
|
||||
连接数据库, 默认的用户和数据库是postgres
|
||||
psql -U user -d dbname
|
||||
|
||||
切换数据库,相当于mysql的use dbname
|
||||
\c dbname
|
||||
列举数据库，相当于mysql的show databases
|
||||
\l
|
||||
列举表，相当于mysql的show tables
|
||||
\dt
|
||||
查看表结构，相当于desc tblname,show columns from tbname
|
||||
\d tblname
|
||||
|
||||
\di 查看索引
|
||||
|
||||
创建数据库：
|
||||
create database [数据库名];
|
||||
删除数据库：
|
||||
drop database [数据库名];
|
||||
*重命名一个表：
|
||||
alter table [表名A] rename to [表名B];
|
||||
*删除一个表：
|
||||
drop table [表名];
|
||||
|
||||
*在已有的表里添加字段：
|
||||
alter table [表名] add column [字段名] [类型];
|
||||
*删除表中的字段：
|
||||
alter table [表名] drop column [字段名];
|
||||
*重命名一个字段：
|
||||
alter table [表名] rename column [字段名A] to [字段名B];
|
||||
*给一个字段设置缺省值：
|
||||
alter table [表名] alter column [字段名] set default [新的默认值];
|
||||
*去除缺省值：
|
||||
alter table [表名] alter column [字段名] drop default;
|
||||
在表中插入数据：
|
||||
insert into 表名 ([字段名m],[字段名n],......) values ([列m的值],[列n的值],......);
|
||||
修改表中的某行某列的数据：
|
||||
update [表名] set [目标字段名]=[目标值] where [该行特征];
|
||||
删除表中某行数据：
|
||||
delete from [表名] where [该行特征];
|
||||
delete from [表名];--删空整个表
|
||||
创建表：
|
||||
create table ([字段名1] [类型1] <references 关联表名(关联的字段名)>;,[字段名2] [类型2],......<,primary key (字段名m,字段名n,...)>;);
|
||||
\copyright 显示 PostgreSQL 的使用和发行条款
|
||||
\encoding [字元编码名称]
|
||||
显示或设定用户端字元编码
|
||||
\h [名称] SQL 命令语法上的说明，用 * 显示全部命令
|
||||
\prompt [文本] 名称
|
||||
提示用户设定内部变数
|
||||
\password [USERNAME]
|
||||
securely change the password for a user
|
||||
\q 退出 psql
|
||||
Loading…
x
Reference in New Issue
Block a user