助力品友互动Aerospike DB应用

客户概述

品友互动,创立于2008年,是中国最大的程序化购买DSP平台。自搜索引擎创新后,程序化购买是最重要的数字营销技术,成为 最受企业青睐的广告投放方式。快消,汽车,IT,金融,电商,游戏等行业里几乎所有领导品牌都已使用品友互动的程序化购买平台, 以提升自身的品牌及运营效率。权威数据显示,品友互动已经占据中国品牌程序化购买市场59.8%的份额。品友互动正在快速成长为 最具价值的互联网广告技术公司。“最佳人群定向投放效果奖”,“最佳人群定向广告技术平台奖”,“年度网络营销卓越勋章奖” 等一系列荣誉称号,展示出品友互动一路走来的创新成就。

客户需求

品友互动使用Redis集群承载快速查询请求,随着业务量的增长,采用平行扩展的方式增加服务器数量来扩展内存容量,Redis集 群的节点数不断增加,硬件成本增加过于迅速、系统维护难度加大。品友互动提出如下需求:

1. 新业务系统采用Aerospike DB,存储采用内存+SSD的方式满足不断增长的数据量的需求;

2. 新业务平台确保具有高可靠、高性能、高可扩展的能力;

3. 满足业务需求的同时降低业务系统架构的复杂度,方便运维人员维护。

客户应用遇到的问题分析

Aerospike是一个以分布式为核心基础,可基于行随机存取内存中索引、数据或SSD存储中数据的数据库,主要用于广告业务, 作为一个服务器端的cookie存储来使用,在这种场景下读取和写入性能是至关重要的。

品友互动新业务使用Aerospike DB后,可以勉强满足数据容量需求,但是查询延迟波动非常明显,一定程度上影响业务的流畅度。 经过分析发现SATA SSD虽然已经比传统HDD在IOPS和延迟上优秀很多,但是在品友互动的实际业务压力下,系统无法达到预期的 效果。

解决方案分析

系统概述

经过和品友互动交流测试,计划继续采用Aerospike DB,将原有SATA SSD替换为具有大容量、高性能、低延迟的Shannon Direct-IO™ PCIe Flash设备。利用Aerospike DB的混合架构:将索引存储在RAM,数据存储在PCIe Flash。

系统配置比较
基础架构图
对比测试结果

在新的业务系统部署完成后,品友互动做了对比测试,通过对30亿条记录进行10w tps 的并发查询压力测试,并通过复制数十万 的线上真实流量进行模拟操作,结果如下:

客户概述

Shannon Direct-IO™ PCIe Flash具有大容量、高性能、低延迟的特性,非常符合品友互动的实际需求。通过将Shannon Direct -IO™ PCIe Flash设备作为Aerospike DB的存储介质,在满足实际业务使用需求的同时,品友互动也获得如下收益:

1. 相比Redis系统 ,采用 Aerospike DB Shannon Direct-IO™ PCIe Flash设备的方式,减少了内存的需求和服务器的部署 数量,降低了整体成本;

2. Shannon Direct-IO™ PCIe Flash具有大容量、高性能、低延迟的特性,既可以支撑当前业务的负载,也方便后续业务的扩 容需求;

3. 降低了业务系统的复杂度,方便运维人员维护,提高了工作效率。