让ODS-D系统IO瓶颈不再是问题

发布时间:2016-10-21

客户需求
    ODS-D系统是此通信公司运营数据分析决策的平台,其使用的数据库是Oracle 11.2.0.4 (Linux x86-64平台),通过Oracle GoldenGate(下面简称“OGG")工具将生产系统(CRM,计费,服务开通,资源管理及客服等)的数据实时同步到ODS-D系统,目前数据同步效率低,导致部分ODS-D系统业务数据与生产系统数据差异在十小时以上,严重影响了客户业务决策分析。客户希望缩短差异数据的时间,提高业务决策分析的精度。
 
客户应用遇到的时间问题分析
    经分析OGG同步处理日志发现,OGG targrt端replicate进程在将远端生产系统产生的业务变更trail文件分析称SQL语句后,处理本地入库更新时效率底下。进一步采集入库更新时Oracle数据库的实时负载信息,发现更新效率低的根本原因是底层存储设备性能不足。经核实底层数据库文件存放在由10块SAS HDD组成的RAID 10磁盘阵列上,由于业务写入压力大,该磁盘阵列IO能力不能满足业务需求,导致业务数据同步慢,部分业务数据延迟达到14个小时。
 
解决方案分析
系统概述
经过与客户交流测试,用具有超低延迟与超高性能的Shannon Direct-IOTM PCIe Flash-G3i设备替换原有RAID 10磁盘阵列,从而满足上层数据应用的需求。
改造前后架构图

改造前后系统IO性能对比

系统改造完成后,用户对ODS-D系统数据库的IO性能进行了对比,结果如下:

ogg同步进程同步数据时延对比

 

总结

    通过采用Shannon Direct-IOTM PCIe Flash存储设备替代之前RAID 10磁盘阵列,消除了原有系统的IO性能瓶颈,整个数据系统数据实时写入性能提升1.5倍。设备上线需要停机,造成OGG产生数据文件积压一天,系统重新上线后半个小时同步完毕,后续增量数据实时同步。
Shannon Direct-IOTM PCIe Flash的成功应用提升了业务系统的整体性能,这种优化改造无需重新设计系统架构和方案,只需简单安装Shannon Direct-IOTM PCIe Flash设备将数据即可,其可以作为通信业务系统优化改造的优选方案。