Xtrabackup MySQL备份与恢复
1.Xtrabackup介绍MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的，如果数据大于50G或100G，存储空间足够的情况下，可以每天进行完整备份，如果每天产生的数据量较大，需要定制数据备份策略。例如每周日使用完整备份，周一到周六使用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工
Xtrabackup MySQL增量备份脚本分享
增量脚本mysql_incremental.sh，可通过crontab定时任务执行。 #!/bin/sh #################################################################### # # 作者：大帅 # 各项参数详细说明请参考作者文章：https://www.sirix.app/ar
CentOS7安装配置GreenPlum6
1.服务器配置 主机名 主机IP 规格 数据盘-1 数据盘-2 说明 gp-master01 172.26.2.171 4 vCPU 8 GiB 40GB系统盘 ESSD 100GB segment节点，创建2个segment( 每个节点的磁盘独立) gp-segment01 172.26.2.172 4 vCPU 8 GiB 40GB系统盘 ESSD 200GB ESSD 200
Greenplum清理垃圾、修改存储模式(行存储改列存储)平滑方法
1.背景 在使用Greenplum的过程中，如果业务会经常对数据进行更新，删除，插入，可能导致数据出现膨胀。 用户在建表的时候，存储模式选择不当，但是业务已经运行了一段时间，表里面已经写入了大量的数据。 用户在建表的时候，分布键选得不对，但是业务已经运行了一段时间，表里面已经写入了大量的数据。 用户在建表的时候表分区做得不对，但是业务已经运行了一段时间，表里面已经写入了大量的数据。 数据分区在初
Python3 Snowflake算法实现不重复的分布式ID
Python3 Snowflake算法实现不重复的分布式ID import time # 64位ID的划分 WORKER_ID_BITS = 5 DATACENTER_ID_BITS = 5 SEQUENCE_BITS = 12 # 最大取值计算 MAX_WORKER_ID = -1 ^ (-1 << WORKER_ID_BITS) # 2**5-1 0b11111 MAX
Greenplum常用给用户授权语句
1.创建用户并修改密码-- 创建用户并设置密码为123456 create role username with login password '123456'; -- 修改用户密码 alter role username with password '123456'; -- username：用户名 2.给用户schema的所有权限-- 创建数据库 crea
Greenplum 列存表(AO表)的膨胀和垃圾检查与空间收缩
1.Greenplum产生垃圾空间说明Greenplum支持行储存(HEAP储存)与列(append-only)储存,对于AO存储，虽然是appendonly，但实际上GP是支持DELETE和UPDATE的，被删除或更新的行，通过BITMAP来标记删除与修改。AO存储是块级组织，当一个块内的数据大部分都被删除或更新掉时，扫描它浪费的成本实际上是很高的。而PostgreSQL是通过HOT技术以及au
Greenplum/PostgreSQL中数据表数据去重的几种方法
GP主要用于数据仓库领域，在GP数据库中，如果由于ETL重复跑数导致数据重复的话，就需要进行去重复操作。 一种方法是把某一时间段的数据全部删掉，然后重新跑数据，这样其实工作量也比较大，需要补数据，重跑ETL。 另一种方法就是把重复的数据删掉就行，本文就是针对Greenplum分布式数据库如何进行去重复删除操作。 对于在Postgresql中，唯一确定一行的位置的是用ctid,可以用这个
