Xtrabackup MySQL备份与恢复 1.Xtrabackup介绍MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的,如果数据大于50G或100G,存储空间足够的情况下,可以每天进行完整备份,如果每天产生的数据量较大,需要定制数据备份策略。例如每周日使用完整备份,周一到周六使用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工 2021-07-08 数据库 #MySQL #Xtrabackup #备份
Xtrabackup MySQL增量备份脚本分享 增量脚本mysql_incremental.sh,可通过crontab定时任务执行。 #!/bin/sh #################################################################### # # 作者:大帅 # 各项参数详细说明请参考作者文章:https://www.sirix.app/ar 2021-08-18 数据库 #MySQL #Xtrabackup #备份 #分享
CentOS7安装配置GreenPlum6 1.服务器配置 主机名 主机IP 规格 数据盘-1 数据盘-2 说明 gp-master01 172.26.2.171 4 vCPU 8 GiB 40GB系统盘 ESSD 100GB segment节点,创建2个segment( 每个节点的磁盘独立) gp-segment01 172.26.2.172 4 vCPU 8 GiB 40GB系统盘 ESSD 200GB ESSD 200 2022-11-23 大数据 > 数仓 > 运维 #CentOS #GreenPlum #GP
hive数据格式和压缩格式(orcfile、zlib、snappy、行储存、列储存) 1.Hive数据格式和压缩格式1.1 数据格式1.1.1 行储存和列储存 行储存的特点:查询满足条件的一整行(所有列)数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储查询的速度更快。 列存储的特点: 因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量;每个字段的数据类型一定是相同的,列式存 2023-03-17 大数据 #大数据 #Hadoop #Hive
PostgreSQL中删除数据库时出现“There are 2 other sessions using the database”报错 1.问题描述PostgreSQL、GreenPlum中删除数据库时出现如下报错。 ERROR: database "cgq_test" is being accessed by other users DETAIL:There are 2 other sessions using the database. 2.问题原因 当前有其他连接在使用该数据库。 3.解决方案 执行如下命令,断开mc 2023-03-08 大数据 > 数仓 #GreenPlum #GP #大数据 #数仓 #PostgreSQL
Python使用pymysql模块的executemany()方法批量插入数据 提高Mysql数据库写入效率 首先,我们建立如下的数据库,用于后续的测试: CREATE TABLE `test` ( `id` bigint NOT NULL , `random_value` bigint NULL , PRIMARY KEY (`id`) ); 列名 类型 id(主键) bigint random_value bigint 随机生成20000条数据,用于后续测试: 注意: 2023-02-03 开发 #MySQL #Python #批量插入
CentOS7 升级安装OpenSSL 1.1.1 关于OpenSSL,在默认的CentOS7 版本为openssl-1.0.2的版本,但是在有些情况,需要较高版本的OpenSSL怎么办,只能手动编译了。接下来给大家讲解如何在CentOS7下升级安装OpenSSL 1.1.1,闲话少说,上真货吧。 一、查看版本信息在安装前,我们查看一下当前版本等信息。 # 查看当前OpenSSL的版本 openssl version # 查看OpenSSL的安 2023-01-31 运维 #CentOS #OpenSSL
Greenplum清理垃圾、修改存储模式(行存储改列存储)平滑方法 1.背景 在使用Greenplum的过程中,如果业务会经常对数据进行更新,删除,插入,可能导致数据出现膨胀。 用户在建表的时候,存储模式选择不当,但是业务已经运行了一段时间,表里面已经写入了大量的数据。 用户在建表的时候,分布键选得不对,但是业务已经运行了一段时间,表里面已经写入了大量的数据。 用户在建表的时候表分区做得不对,但是业务已经运行了一段时间,表里面已经写入了大量的数据。 数据分区在初 2022-12-22 大数据 > 数仓 #GreenPlum #GP #PostgreSQL
Python3 Snowflake算法实现不重复的分布式ID Python3 Snowflake算法实现不重复的分布式ID import time # 64位ID的划分 WORKER_ID_BITS = 5 DATACENTER_ID_BITS = 5 SEQUENCE_BITS = 12 # 最大取值计算 MAX_WORKER_ID = -1 ^ (-1 << WORKER_ID_BITS) # 2**5-1 0b11111 MAX 2022-12-19 开发 #Python3 #Snowflake #分布式ID
Greenplum常用给用户授权语句 1.创建用户并修改密码-- 创建用户并设置密码为123456 create role username with login password '123456'; -- 修改用户密码 alter role username with password '123456'; -- username:用户名 2.给用户schema的所有权限-- 创建数据库 crea 2022-12-08 大数据 > 数据库 #数仓 #PostgreSQL #Grennplum #SQL #数据仓库