Xtrabackup MySQL备份与恢复 1.Xtrabackup介绍MySQL冷备、mysqldump、MySQL热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的,如果数据大于50G或100G,存储空间足够的情况下,可以每天进行完整备份,如果每天产生的数据量较大,需要定制数据备份策略。例如每周日使用完整备份,周一到周六使用增量备份。而Percona-Xtrabackup就是为了实现增量备份而出现的一款主流备份工 2021-07-08 数据库 #MySQL #Xtrabackup #备份
Xtrabackup MySQL增量备份脚本分享 增量脚本mysql_incremental.sh,可通过crontab定时任务执行。 #!/bin/sh #################################################################### # # 作者:大帅 # 各项参数详细说明请参考作者文章:https://www.sirix.app/ar 2021-08-18 数据库 #MySQL #Xtrabackup #备份 #分享
CentOS7安装配置GreenPlum6 1.服务器配置 主机名 主机IP 规格 数据盘-1 数据盘-2 说明 gp-master01 172.26.2.171 4 vCPU 8 GiB 40GB系统盘 ESSD 100GB segment节点,创建2个segment( 每个节点的磁盘独立) gp-segment01 172.26.2.172 4 vCPU 8 GiB 40GB系统盘 ESSD 200GB ESSD 200 2022-11-23 大数据 > 数仓 > 运维 #CentOS #GreenPlum #GP
trzsz终端文件传输利器 1.简介trzsz 是一个简单的文件传输工具, 类似于 lrzsz ( rz / sz ), 并与 tmux 兼容。 2.引言用过 rz、sz 上传和下载文件的,都知道非常的方便。那么,在 Linux 的原生终端,在 Mac 上的原生终端,在 Windows 中的 cmd 和 PowerShell 等,又能不能像 rz / sz 那样方便地传文件呢? 3.trzsz用 https://github 2023-05-30 运维 #rzsz #终端
Spark RDD基础编程 1.RDD创建1.1 从集合(内存)中创建 RDD从集合中创建RDD,Spark主要提供了两个方法:parallelize和makeRDD 从底层代码实现来讲,makeRDD方法其实就是parallelize方法 // 创建 Spark 运行配置对象 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Create 2023-05-28 大数据 #大数据 #Spark
kudu hdfs 数据分层 灵活存储 转载自:海底苍鹰 网上购物,很多人只会看最近三个月,或者半年的订单,更早的历史订单就很少有人关注了。这种场景还是挺适合kudu+hdfs. Apache Kudu旨在快速分析、快速变化的数据。Kudu提供快速插入/更新和高效列扫描的组合,以在单个存储层上实现多个实时分析工作负载。因此,Kudu非常适合作为存储需要实时查询的数据的仓库。此外,Kudu支持实时更新和删除行,以支持延迟到达的数据和数据 2023-05-16 大数据 #Hadoop #Kudu #HDFS
hive数据格式和压缩格式(orcfile、zlib、snappy、行储存、列储存) 1.Hive数据格式和压缩格式1.1 数据格式1.1.1 行储存和列储存 行储存的特点:查询满足条件的一整行(所有列)数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储查询的速度更快。 列存储的特点: 因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量;每个字段的数据类型一定是相同的,列式存 2023-03-17 大数据 #大数据 #Hadoop #Hive
PostgreSQL中删除数据库时出现“There are 2 other sessions using the database”报错 1.问题描述PostgreSQL、GreenPlum中删除数据库时出现如下报错。 ERROR: database "cgq_test" is being accessed by other users DETAIL:There are 2 other sessions using the database. 2.问题原因 当前有其他连接在使用该数据库。 3.解决方案 执行如下命令,断开mc 2023-03-08 大数据 > 数仓 #GreenPlum #GP #大数据 #数仓 #PostgreSQL
Python使用pymysql模块的executemany()方法批量插入数据 提高Mysql数据库写入效率 首先,我们建立如下的数据库,用于后续的测试: CREATE TABLE `test` ( `id` bigint NOT NULL , `random_value` bigint NULL , PRIMARY KEY (`id`) ); 列名 类型 id(主键) bigint random_value bigint 随机生成20000条数据,用于后续测试: 注意: 2023-02-03 开发 #MySQL #Python #批量插入
CentOS7 升级安装OpenSSL 1.1.1 关于OpenSSL,在默认的CentOS7 版本为openssl-1.0.2的版本,但是在有些情况,需要较高版本的OpenSSL怎么办,只能手动编译了。接下来给大家讲解如何在CentOS7下升级安装OpenSSL 1.1.1,闲话少说,上真货吧。 一、查看版本信息在安装前,我们查看一下当前版本等信息。 # 查看当前OpenSSL的版本 openssl version # 查看OpenSSL的安 2023-01-31 运维 #CentOS #OpenSSL