hive数据格式和压缩格式(orcfile、zlib、snappy、行储存、列储存)

1.Hive数据格式和压缩格式

1.1 数据格式

1.1.1 行储存和列储存

行储存的特点:查询满足条件的一整行(所有列)数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储查询的速度更快

列存储的特点 因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量;每个字段的数据类型一定是相同的,列式存储可以针对性的设计更好的设计压缩算法。

1.1.2 textfile

行存储:这种格式使得hive不会对数据进行拆分,导致无法对数据进行并行操作

1.1.3 orcfile

这个格式可以提高hive读、写、处理数据的能力

这个格式的hive数据是按照行存储分块、每个块又按照列储存

这个格式的每个块默认大小256mb,块大了之后使得orc格式可以支持索引

1.2 储存和压缩结合

1.2.1 zlib 格式压缩

压缩率比较高,但是压缩行能一般

1.2.2 snappy压缩

压缩速度快、压缩率合理

压缩率比zlib格式要低

1.3 推荐的压缩和储存格式

因为orcfile的压缩快,储存快,所以我们一般会使用orcfile储存格式,压缩算法采用orc支持的zlib格式和snappy格式

对于ods层的数据,一般采用orcfile+zlib格式,来节省磁盘的空间

对于DWD/DWM/DWS/APP层,为了执行的效率,可以使用比较土豪的方式:orcfile+snappy

另外,如果不考虑磁盘空间,可以使用snappy格式。


hive数据格式和压缩格式(orcfile、zlib、snappy、行储存、列储存)
https://www.gmtgo.com/8309.html
作者
大帅
发布于
2023年3月17日
许可协议