hive数据格式和压缩格式(orcfile、zlib、snappy、行储存、列储存)
1.Hive数据格式和压缩格式
1.1 数据格式
1.1.1 行储存和列储存
行储存的特点:查询满足条件的一整行(所有列)数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储查询的速度更快。
列存储的特点: 因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量;每个字段的数据类型一定是相同的,列式存储可以针对性的设计更好的设计压缩算法。
1.1.2 textfile
行存储:这种格式使得hive不会对数据进行拆分,导致无法对数据进行并行操作
1.1.3 orcfile
这个格式可以提高hive读、写、处理数据的能力
这个格式的hive数据是按照行存储分块、每个块又按照列储存
这个格式的每个块默认大小256mb,块大了之后使得orc格式可以支持索引
1.2 储存和压缩结合
1.2.1 zlib 格式压缩
压缩率比较高,但是压缩行能一般
1.2.2 snappy压缩
压缩速度快、压缩率合理
压缩率比zlib格式要低
1.3 推荐的压缩和储存格式
因为orcfile的压缩快,储存快,所以我们一般会使用orcfile储存格式,压缩算法采用orc支持的zlib格式和snappy格式
对于ods层的数据,一般采用orcfile+zlib格式,来节省磁盘的空间
对于DWD/DWM/DWS/APP层,为了执行的效率,可以使用比较土豪的方式:orcfile+snappy
另外,如果不考虑磁盘空间,可以使用snappy格式。
hive数据格式和压缩格式(orcfile、zlib、snappy、行储存、列储存)
https://www.gmtgo.com/8309.html