Golang语言操作RabbitMQ
1.准备1.1 安装包依赖go get "github.com/streadway/amqp" 1.2 官方文档https://github.com/rabbitmq/rabbitmq-tutorials/tree/master/go 2.普通模式2.1 生产者package main import ( "fmt" "log" "
Golang语言操作Kafka
1.准备1.1 前言 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展等特点。本文介绍了如何使用Go语言发送和接收kafka消息。 1.2 saramaGo语言中连接kafka使用第三方库 sarama GitHub 1.3 安装包依赖go get "github.com/Shopif
trzsz终端文件传输利器
1.简介trzsz 是一个简单的文件传输工具， 类似于 lrzsz ( rz / sz )， 并与 tmux 兼容。 2.引言用过 rz、sz 上传和下载文件的，都知道非常的方便。那么，在 Linux 的原生终端，在 Mac 上的原生终端，在 Windows 中的 cmd 和 PowerShell 等，又能不能像 rz / sz 那样方便地传文件呢？ 3.trzsz用 https://github
Spark RDD基础编程
1.RDD创建1.1 从集合（内存）中创建 RDD从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD 从底层代码实现来讲，makeRDD方法其实就是parallelize方法 // 创建 Spark 运行配置对象 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Create
kudu hdfs 数据分层 灵活存储
转载自：海底苍鹰 网上购物，很多人只会看最近三个月，或者半年的订单，更早的历史订单就很少有人关注了。这种场景还是挺适合kudu+hdfs. Apache Kudu旨在快速分析、快速变化的数据。Kudu提供快速插入/更新和高效列扫描的组合，以在单个存储层上实现多个实时分析工作负载。因此，Kudu非常适合作为存储需要实时查询的数据的仓库。此外，Kudu支持实时更新和删除行，以支持延迟到达的数据和数据
hive数据格式和压缩格式（orcfile、zlib、snappy、行储存、列储存）
1.Hive数据格式和压缩格式1.1 数据格式1.1.1 行储存和列储存 行储存的特点：查询满足条件的一整行（所有列）数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。 列存储的特点： 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存
PostgreSQL中删除数据库时出现“There are 2 other sessions using the database”报错
1.问题描述PostgreSQL、GreenPlum中删除数据库时出现如下报错。 ERROR: database "cgq_test" is being accessed by other users DETAIL：There are 2 other sessions using the database. 2.问题原因 当前有其他连接在使用该数据库。 3.解决方案 执行如下命令，断开mc
Python使用pymysql模块的executemany()方法批量插入数据 提高Mysql数据库写入效率
首先，我们建立如下的数据库，用于后续的测试： CREATE TABLE `test` ( `id` bigint NOT NULL , `random_value` bigint NULL , PRIMARY KEY (`id`) ); 列名 类型 id(主键) bigint random_value bigint 随机生成20000条数据，用于后续测试： 注意：
