From 9e54ad2ffedf22cf2219e0b1cd394a57b1945778 Mon Sep 17 00:00:00 2001 From: xking Date: Wed, 25 Oct 2023 14:53:54 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- hive/dataGrip连接hive带kerberos认证.md | 85 ++++++++++++++++++++ linux/fdisk磁盘分区.md | 12 ++- postgresql_and_edb/postgresql导入导出.md | 26 +++--- postgresql_and_edb/psql_常用命令.md | 51 ++++++++++++ 4 files changed, 162 insertions(+), 12 deletions(-) create mode 100644 hive/dataGrip连接hive带kerberos认证.md create mode 100644 postgresql_and_edb/psql_常用命令.md diff --git a/hive/dataGrip连接hive带kerberos认证.md b/hive/dataGrip连接hive带kerberos认证.md new file mode 100644 index 0000000..7071fe9 --- /dev/null +++ b/hive/dataGrip连接hive带kerberos认证.md @@ -0,0 +1,85 @@ +# dataGrip连接hive带kerberos认证 + +### dataGrip 连接带kerberos认证的hive + + + + + + + +首先使用 dbeaver 的hive 驱动 （[下载地址](https://github.com/timveil/hive-jdbc-uber-jar/releases/download/v1.9-2.6.5/hive-jdbc-uber-2.6.5.0-292.jar)） 别的驱动测试不成功， + + + +准备kerberos的认证信息， + +kerberos 主体、认证密钥 keytab文件，jaas配置文件 + +jaas配置文件如下： + +``` + +DataGrip { + com.sun.security.auth.module.Krb5LoginModule required + useKeyTab=true + keyTab="D:\ckw\kn\kn\cuayilinghsd.keytab" + principal="cuayilinghsd@CUA-KDCSERVER.COM" + doNotPrompt=true + useTicketCache=true + debug=true; +}; + +``` + +将上述配置文件中的`keyTab` `principal` 替换成之前准备的。 + + + +使用刚刚下载驱动文件创建一个数据源 + +url 如下： + +``` +jdbc:hive2://bigdata57.cua.internal:10000/;principal=hive/bigdata57.cua.internal@CUA-KDCSERVER.COM +``` + +`hive/bigdata57.cua.internal@CUA-KDCSERVER.COM` 为固定值。 + +`bigdata57.cua.internal:10000` hive 地址与端口 + + + + + +然后在高级配置里添加 + +jvm 参数 + +``` +-Djava.security.krb5.conf=C:\ProgramData\MIT\Kerberos5\krb5.ini +-Dsun.security.krb5.debug=true +``` + +`C:\ProgramData\MIT\Kerberos5\krb5.ini` 为kerberos 服务的配置文件 + +``` +[libdefaults] + default_realm = CUA-KDCSERVER.COM + +[realms] + CUA-KDCSERVER.COM = { + kdc = 10.111.15.61:88 + admin_server = 10.111.15.61:754 + default_domain = CUA-KDCSERVER.COM + } + +[domain_realm] + .example.com = CUA-KDCSERVER.COM + example.com = CUA-KDCSERVER.COM + +``` + + + +点击测试连接，完成hive数据源的添加。 \ No newline at end of file diff --git a/linux/fdisk磁盘分区.md b/linux/fdisk磁盘分区.md index 23633cc..ff25fb0 100644 --- a/linux/fdisk磁盘分区.md +++ b/linux/fdisk磁盘分区.md @@ -91,6 +91,11 @@ mkfs.ext3 /dev/sdb 挂载分区 +编辑文件 +```bash +vim /etc/fstab +``` + ```bash /dev/sdb1 /opt ext4 defaults 0 0 ``` @@ -106,7 +111,12 @@ mount /dev/sdb1 /Public2 ### lsblk 命令 查看硬盘信息 - +``` +lsblk +``` +``` +lsblk -f +``` ``` [root@worker ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT diff --git a/postgresql_and_edb/postgresql导入导出.md b/postgresql_and_edb/postgresql导入导出.md index df4882e..d8c893b 100644 --- a/postgresql_and_edb/postgresql导入导出.md +++ b/postgresql_and_edb/postgresql导入导出.md @@ -1,4 +1,4 @@ -### 数据库导出 +## 数据库导出 #### 链接信息 @@ -365,10 +365,6 @@ pattern参数 -#### psql - - - #### pg_restore @@ -628,10 +624,14 @@ psql -Uicctestedb -dicctestedb -h192.168.53.123 -f ~/ +### 实操数据导入导出 + +### 整库导出 + +使用 pg_dump 与 pg_restore 完成数据转移，适合整表 整库 迁移 + #### 数据导出 - - ```shell #导出 iccedb库 # -O 不设置表归属, @@ -651,8 +651,10 @@ psql -Uicctestedb -dicctestedb -h192.168.53.123 -f ~/ #-c 指定恢复过程中清空目标数据库中的现有表 #--strict-names 指定严格遵守输入文件中的名称规范 #~/icc_data_20220719_test.sql 指定要恢复的输入文件路径 +#-n revenue_mgt 恢复 revenue_mgt schema +#-j 4 并行化操作 -./pg_restore -Uenterprisedb -dtest2 -h10.23.101.119 -F c -c -v --strict-names ~/icc_data_20220719_test.sql +./pg_restore -Uenterprisedb -dtest2 -h10.23.101.119 -j4 -nrevenue_mgt -F c -c -v --strict-names ~/icc_data_20220719_test.sql ``` @@ -663,21 +665,23 @@ psql -Uicctestedb -dicctestedb -h192.168.53.123 -f ~/ -#### COPY 导出导出部分数据 +### 部分数据导出 + +COPY ```sh sudo su - enterprisedb psql edb ``` -##### 导出 +#### COPY 导出 ```sql COPY (select * from icc.tcn_stat where afferent_date between to_date('20220701','yyyymmdd') and to_date('20220714','yyyymmdd') ) TO '/home/edbdata/test.csv' WITH csv; ``` -##### 导入 +#### COPY 导入 ```sql COPY tcn_stat_sales_volume_total FROM '/home/edbdata/tcn_stat_sales_volume_total.csv' WITH csv; diff --git a/postgresql_and_edb/psql_常用命令.md b/postgresql_and_edb/psql_常用命令.md new file mode 100644 index 0000000..649f253 --- /dev/null +++ b/postgresql_and_edb/psql_常用命令.md @@ -0,0 +1,51 @@ +连接数据库, 默认的用户和数据库是postgres +psql -U user -d dbname + +切换数据库,相当于mysql的use dbname +\c dbname +列举数据库，相当于mysql的show databases +\l +列举表，相当于mysql的show tables +\dt +查看表结构，相当于desc tblname,show columns from tbname +\d tblname + +\di 查看索引 + +创建数据库： +create database [数据库名]; +删除数据库： +drop database [数据库名]; +*重命名一个表： +alter table [表名A] rename to [表名B]; +*删除一个表： +drop table [表名]; + +*在已有的表里添加字段： +alter table [表名] add column [字段名] [类型]; +*删除表中的字段： +alter table [表名] drop column [字段名]; +*重命名一个字段： +alter table [表名] rename column [字段名A] to [字段名B]; +*给一个字段设置缺省值： +alter table [表名] alter column [字段名] set default [新的默认值]; +*去除缺省值： +alter table [表名] alter column [字段名] drop default; +在表中插入数据： +insert into 表名 ([字段名m],[字段名n],......) values ([列m的值],[列n的值],......); +修改表中的某行某列的数据： +update [表名] set [目标字段名]=[目标值] where [该行特征]; +删除表中某行数据： +delete from [表名] where [该行特征]; +delete from [表名];--删空整个表 +创建表： +create table ([字段名1] [类型1] ;,[字段名2] [类型2],......<,primary key (字段名m,字段名n,...)>;); +\copyright 显示 PostgreSQL 的使用和发行条款 +\encoding [字元编码名称] + 显示或设定用户端字元编码 +\h [名称] SQL 命令语法上的说明，用 * 显示全部命令 +\prompt [文本] 名称 + 提示用户设定内部变数 +\password [USERNAME] + securely change the password for a user +\q 退出 psql \ No newline at end of file