Exadata 混合列压缩技术 EHCC技术介绍

Maclean Liu(刘相兵

Exadata V2引入了Exadata Hybrid Columnar Compression功能，即混合列压缩技术，该功能具有很强的数据压缩能力，尤其针对直接路径加载的数据，理想情况下可以达到10/1的压缩比例。
混合列压缩技术可以应用在表，分区，表空间上并且具有以下优点：
1. 大表压缩后可以大大降低物理IO资源消耗
2. 降低存储空间
3. 提高large scale scan的性能


混合列压缩技术提供两种压缩类型：
1. Warehouse compression: 应用于数据仓库环境里，10倍的存储空间减少，10倍的IO SCAN降低，提高查询性能
2. Online archival compression:适用于不需要更新的历史数据，15倍的存储空间减少，提供最大的压缩比例
dbms_compression包可以用来评估不同压缩技术下产生的期望压缩比率


DBMS_COMPRESSION.GET_COMPRESSION_RATIO ( scratchtbsname IN VARCHAR2, ownname IN VARCHAR2, tabname IN VARCHAR2, partname IN VARCHAR2, comptype IN NUMBER, blkcnt_cmp OUT PLS_INTEGER, blkcnt_uncmp OUT PLS_INTEGER, row_perblk_cmp OUT PLS_INTEGER, row_perblk_uncmp OUT PLS_INTEGER, cmp_ratio OUT NUMBER, comptype_str OUT varchar2);


工作原理：

混合列压缩技术引入了一个新的叫做压缩单元（compression unit 简称cu）的逻辑结构用于存储混合列压缩的行的集合。在压缩单元里每行数据是单独存储的并且按照列进行组织的，每列单独压缩，这样将相同或相似的数据组织在一起，以提高压缩比率。

除了混合列压缩技术，ORACLE Compression Method Compression Ratio CPU Overhead Applications
Basic 压缩
对直接路径insert压缩,Conventional路径insert和update不压缩
CPU负载小
DSS
OLTP压缩
针对所有DML/DDL
CPU负载小
OLTP 和DSS
Warehouse压缩(混合列压缩技术)
对直接路径insert压缩比更高，对Conventional路径insert和update压缩，不过需要在CU加锁影响并发
CPU负载比以上两种压缩方法高，解压缩在CELL里完成
DSS
Online archival压缩(混合列压缩技术)
对直接路径insert压缩比最高，对Conventional路径insert和update压缩，不过需要在CU加锁影响并发
CPU负载最高，解压缩在CELL里完成
Archiving


Basic 压缩


Basic 压缩在数据块层实现,在数据块里如果发现数据重复，那么重复的数据将会被一个指针来代替，存储一个指针需要的空间非常小并且这些指针被保存在指针表里(指针表同时保存在该数据块里)，这样通过指针替换重复的数据实现了数据空间压缩，同样数据压缩的比率依赖于数据块中数据重复的次数，因此在一个较大的数据块里或者一个数据块里存储排序的数据，将会获得一个较大的压缩比率，数据经压缩后在数据块依然按照行的格式进行组织：一个行中列的值需要存在在一起。目前该Basic压缩技术只支持直接路径insert压缩,不支持DML压缩。


OLTP压缩

OLTP压缩采用了与BASIC压缩一样的技术，除了支持直接路径insert压缩外，还支持DML压缩，针对DML事务性数据压缩不是在数据更新时完成，而是通过后台进程以异步的方式完成事务性数据的压缩，这样可以最大化的降低对整个系统事务吞吐量的负面影响。

例如：
SQL>Create table tab_compress (id number,name varchar2(20)
compress for query;
SQL>Create table tab_compress (id number,name varchar2(20)
compress for archive;
SQL>alter table tab_compress compress for query;
SQL>Create table tab_compress compress for archive;
建议针对不经常更新的大表数据采用混合列压缩技术