大帅小站
  • 首页
  • 归档
  • 分类
  • 标签
  • 友链
  • 关于
  •   
  •   
Python3 Snowflake算法实现不重复的分布式ID

Python3 Snowflake算法实现不重复的分布式ID

Python3 Snowflake算法实现不重复的分布式ID import time # 64位ID的划分 WORKER_ID_BITS = 5 DATACENTER_ID_BITS = 5 SEQUENCE_BITS = 12 # 最大取值计算 MAX_WORKER_ID = -1 ^ (-1 << WORKER_ID_BITS) # 2**5-1 0b11111 MAX
2022-12-19
开发
#Python3 #Snowflake #分布式ID
Greenplum常用给用户授权语句

Greenplum常用给用户授权语句

1.创建用户并修改密码-- 创建用户并设置密码为123456 create role username with login password '123456'; -- 修改用户密码 alter role username with password '123456'; -- username:用户名 2.给用户schema的所有权限-- 创建数据库 crea
2022-12-08
大数据 > 数据库
#数仓 #Grennplum #SQL #PostgreSQL #数据仓库
Greenplum 列存表(AO表)的膨胀和垃圾检查与空间收缩

Greenplum 列存表(AO表)的膨胀和垃圾检查与空间收缩

1.Greenplum产生垃圾空间说明Greenplum支持行储存(HEAP储存)与列(append-only)储存,对于AO存储,虽然是appendonly,但实际上GP是支持DELETE和UPDATE的,被删除或更新的行,通过BITMAP来标记删除与修改。AO存储是块级组织,当一个块内的数据大部分都被删除或更新掉时,扫描它浪费的成本实际上是很高的。而PostgreSQL是通过HOT技术以及au
2022-12-08
大数据 > 数据库
#数仓 #Grennplum #SQL #PostgreSQL #数据仓库
Greenplum/PostgreSQL中数据表数据去重的几种方法

Greenplum/PostgreSQL中数据表数据去重的几种方法

GP主要用于数据仓库领域,在GP数据库中,如果由于ETL重复跑数导致数据重复的话,就需要进行去重复操作。 一种方法是把某一时间段的数据全部删掉,然后重新跑数据,这样其实工作量也比较大,需要补数据,重跑ETL。 另一种方法就是把重复的数据删掉就行,本文就是针对Greenplum分布式数据库如何进行去重复删除操作。 对于在Postgresql中,唯一确定一行的位置的是用ctid,可以用这个
2022-12-06
大数据 > 数据库
#Grennplum #SQL #PostgreSQL
kafka集群搭建指北

kafka集群搭建指北

1.前置环境 此集群为了后续搭建Kafka做准备,节点资源共用。生产环境可和Kafka分开搭建。 实例1 实例1 实例1 IP地址 192.168.2.128 192.168.2.129 192.168.2.130 OS版本 CentOS Linux release 7.9.2009 (Core) CentOS Linux release 7.9.2009 (Core) C
2022-12-04
大数据
#CentOS #集群 #Kafka
Zookeeper集群搭建指北

Zookeeper集群搭建指北

1.前置环境 此集群为了后续搭建Kafka做准备,节点资源共用。生产环境可和Kafka分开搭建。 实例1 实例1 实例1 IP地址 192.168.2.128 192.168.2.129 192.168.2.130 OS版本 CentOS Linux release 7.9.2009 (Core) CentOS Linux release 7.9.2009 (Core) C
2022-12-03
大数据
#CentOS #zookeeper #集群
dble数据库中间件实现MySQL读写分离

dble数据库中间件实现MySQL读写分离

1.dble简介1.1 简介dble是企业级开源分布式中间件,江湖人送外号 “MyCat Plus”;以其简单稳定,持续维护,良好的社区环境和广大的群众基础得到了社区的大力支持;开源地址 dble存在以下几个优势特性: 数据水平拆分 随着业务的发展,您可以使用dble来替换原始的单个MySQL实例。 兼容Mysql 与MySQL协议兼容,在大多数情况下,您可以用它替换MySQL来为你的应用程序提
2022-11-30
数据库
#MySQL #中间件 #读写分离
Gaea数据库中间件实现MySQL读写分离

Gaea数据库中间件实现MySQL读写分离

1.Gaea简介 Gaea是小米中国区电商研发部研发的基于mysql协议的数据库中间件,目前在小米商城大陆和海外得到广泛使用,包括订单、社区、活动等多个业务。Gaea支持分库分表、sql路由、读写分离等基本特性,更多详细功能可以参照下面的功能列表。其中分库分表方案兼容了mycat和kingshard两个项目的路由方式。Gaea在设计、实现阶段参照了mycat、kingshard和vitess,并使
2022-11-29
数据库
#MySQL #中间件 #读写分离
使用pt-kill为MySQL保驾护航

使用pt-kill为MySQL保驾护航

1.前言 192.168.10.1 服务端-数据发送端(被同步目录/www/) 192.168.10.2 客户端-数据接收端(同步服务端的目录到本机的/data/www/) 服务端/data/ftp目录下的文件或目录权限等发生改变,不管是增删改,都同步到客户端指定目录,实现实时同步。 2.部署环境搭建参考教程 2.1 接收端(192.168.10.2)2.1.1 安装相关服务# 安装rs
2022-11-27
运维
#CentOS #rsync #实时同步
CentOS7安装配置GreenPlum6

CentOS7安装配置GreenPlum6

1.服务器配置 主机名 主机IP 规格 数据盘-1 数据盘-2 说明 gp-master01 172.26.2.171 4 vCPU 8 GiB 40GB系统盘 ESSD 100GB segment节点,创建2个segment( 每个节点的磁盘独立) gp-segment01 172.26.2.172 4 vCPU 8 GiB 40GB系统盘 ESSD 200GB ESSD 200
2022-11-23
大数据 > 数仓 > 运维
#CentOS #GreenPlum #GP
1234…6

搜索

Hexo Fluid
总访问量 次 总访客数 人
桂ICP备20003912号-3