WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 硬盘/SSD > 正文
看软件定义存储在金融行业中的应用分析
作者: 佚名 2016-12-29 19:34 【IT168】

  1 存储技术变革背后的推动力

信息处理技术、互联网技术、云计算技术的诞生与成长对各行各业产生着潜移默化的影响。互联网时代,数据采集手段纷繁复杂,形态五花八门,半结构化与非结构化数据体量日趋增大,传统的储架构已经逐渐显现出自身的固有局限。在数据量爆发性增长以及处理方式逐渐向云端靠近的背景下,存储地位日益重要。

软硬件技术的革新也不断推动存储的快速发展,包括存储的介质、计算能力、网络能力等多方面。SSD的高性能解决了存储系统I/O负荷瓶颈带来的困扰。通用网络平台延迟的降低打破了网络在I/O通道上的瓶颈,万兆以太网已经能够提供高性能、低时延、低CPU占用率的高带宽连接服务。

  2 金融行业对于下一代存储的需求

互联网、云计算的快速发展推动着金融行业的不断创新,在移动支付、互联网金融等创新业务方面全面推进。业务的发展、数据的增长以及云计算、大数据等新技术的快速发展,均对存储提出了相关的要求,具体包括如下五点:

看软件定义存储在金融行业中的应用分析

1、高性能:金融企业业务的快速增长对存储的性能要求越来越高。同时,企业对记录和存储的大量业务数据等进行分析和挖掘,支撑企业经营决策、精准获客、风险防范等多方面数据增值服务,也对存储的性能提出更高的要求。

2、高可用性:数据是企业的核心资产,存储的高可靠性和数据高可靠性是业务活动的基础支撑。对于数据来说,需要提供相应的高可用机制,尤其对于金融行业企业来说,存储和数据的高可用性更加重要。

3、动态扩展:虚拟化技术的发展使得计算资源得以池化,使得业务系统所需要的资源能够按需分配,弹性扩展。同样,企业需要建立存储的资源池,并能够按需分配和动态增加资源池的资源,满足业务发展的需要。

4、接口标准性:存储系统应该支持自动对硬件资源的部署、优化和管理,将各类存储资源进行灵活的配置,实现应用按需(容量、性能、QoS、SLA等)分配。

5、高可管理性:存储应该具备日常部署、管理、监控的自动化和可视化,提高存储资源服务的可管理性,包括资源分配、资源监控、存储IOPS和吞吐量检测、故障告警等多方面的内容,从而提高运维管理人员的管理效率。

3 软件定义存储技术的发展现状

随着业务规模与模式的不断扩大更新以及伴随x86服务器逐渐通用标准化,结合计算机与网络技术,辅以高速网络、SSD等技术的发展和广泛应用,存储系统逐渐从集中式逐渐过渡到分布式存储架构。结合企业业务云化需求的推动,存储系统从块设备存储转向文件、对象存储。在这样的背景下,软件定义存储SDS应运而生。SDS通过软件将控制平面与数据平面分离,实现资源的灵活控制。SDS通常有如下几个特点:

1、采用分布式架构:SDS通常采用分布式架构,具备架构灵活、高性能的优点,提供了计算、性能和容量的线性弹性扩展。

2、支持分级存储:由于通过网络进行松耦合链接,SDS允许高、低速存储分开部署,或者任意比例混布。分层存储的优势在不可预测的业务环境或者敏捷应用情况下,可以发挥到最佳。

3、高可靠:与传统的存储架构使用RAID模式来保证数据的可靠性不同,SDS采用了多副本备份机制。为了保证多个数据副本之间的一致性,SDS通常采用的是一个副本写入,多个副本读取的强一致性技术。

4、强兼容性:能够较好地兼容各种云平台,为其提供后端存储服务,采用行业标准接口(SMI-S)进行存储接入,将异构存储资源进行抽象化,实现存储资源集中管理。

4 SDS在金融行业应用评测及分析

为面向金融行业的云计算数据中心建设方案提供指导,中国银联电子商务与电子支付国家工程实验室在深入研究现有存储技术的基础上,结合对金融行业存储需求的分析,编制了SDS存储测试标准,并参照测试标准针对部分目前主流的SDS产品(开源Ceph、商业版本和高校版本)进行测试与评估。结合金融行业的应用背景,评测标准涵盖了功能性、系统性能、可扩展性、高可用性、易维护性五个方面。相关评测总结如下:

1、开源Ceph

缺点:RBD的I/O路径很复杂,导致效率相对较低,无法将磁盘性能发挥到最佳;维护社区的主要开发者为国外开发团队,存在后期维护路径长的不足。

优点:整个系统自主可控,并且支持iSCSI、SWIFT等访问协议,对异构存储具有较强的兼容性;除了与OpenStack原生集成之外,并很好地兼容VMware、Hyper-V、KVM等虚拟化平台。在全球范围内有多家知名企业在开源社区中不断对Ceph进行优化和改进。SUSE是Ceph社区的8大理事成员之一,也是社区贡献最多的组织之一,提供了SUSE Storage的发行版,并且提供商业支持以及更多的增强特性。

2、商业SDS

缺点:作为商业产品,商业SDS版本的更新需要经过长时间的开发测试,版本间隔时间长,对新版本操作系统、新设备以及其他云计算平台的兼容性较弱。

优点:商业SDS作为一个成熟的商业产品,优化较好,性能较高,内部提供多项功能保证了系统的稳定运行。商业SDS提供功能全面的管理页面,交互性好,支持对传统存储进行统一接管,方便利旧。

3、高校SDS

缺点:研发应用场景较为单一,可靠性服务较少,需要在多场景下进行大量验证。

优点:继承了学术研究上的领先架构,具有超高的性能,能够完全发挥出磁盘的性能,系统部署方便,支持精简配置等功能。

5 SDS在金融行业云中的应用前景

软件定义存储SDS技术相比传统存储已经在多方面有了明显的优势,能够有效满足云计算环境下存储服务高性能、高扩展性以及多种通用接口服务等需求。对于金融行业典型的存储服务虚拟机、非结构化数据、数据库以及大数据应用场景分析如下:

1、虚拟机存储:主要特点包括文件较大、单个虚拟机的IOPS和带宽要求低、可用性要求较高。基于SDS技术的统一存储资源池,可以实现动态扩展,并有效提升存储资源的管理和使用效率,可使用SAS接口的磁盘甚至SATA接口的磁盘。

2、非结构化数据存储:业务系统在运行过程中生成的非结构化数据特点包括文件大小中等,一般几十MB到几百MB不等;IOPS和带宽要求低,一般是连续读写;可用性要求较高。SDS技术也可很好的满足上述要求,使用廉价SAS和SATA磁盘满足大规模非结构化数据的存储,并提供良好的扩展性。

3、数据库存储:主要特点包括联机业务数据库业务访问并发量高、实时性和可用性高、数据量较大等,数据表内容最高达到上亿条;批量业务数据库业务访问并发量低、访问数据量较多、实时性较高等;参数库数据增加缓慢、业务访问并发量不高、实时性较高等。SDS技术结合固态硬盘SSD的应用,完全可以满足批量业务数据库和参数库应用场景下的带宽和IOPS方面的性能要求。但是,SDS技术在高可靠性方面的功能还需要进一步提升,以满足业务系统尤其是联机类业务系统的要求。

4、大数据存储:大数据场景下的存储主要特点包括数据量非常大、多种业务分析场景并存、动态扩展以满足数据增长、计算靠近数据以避免大量数据传输带来的网络压力。SDS技术有效解决了存储资源的问题,能够支撑大规模数据存储、动态扩展。但是存储资源和计算资源的分离,使得SDS技术目前无法有效满足计算靠近数据的需求。

6 总结

SDS技术作为存储发展的主要趋势,已经在高性能、高扩展性、高可管理性等方面相比传统存储体现出了明显的优势,能够在数据中心云计算环境进行了运用,替代部分的传统存储。但是,仍需要进一步在高可靠性、高可用性等方面进行加强,以满足金融行业的业务需求。

新技术的发展是一个持续渐进的过程,需要在实际中不断应用和改进,相信软件定义存储技术在整个产业的联合推进下,会大放光彩!

团队简介:中国银联国家工程实验室软件定义存储研究团队,负责中国银联前瞻性、基础性存储技术研究和应用,目前重点围绕软件定义存储开源技术评测方案和标准、软件定义存储技术在金融行业应用开展研究。中国银联国家工程实验室是金融行业第一家获得批复建设的电子商务与电子支付国家工程实验室,承担电子支付、电子货币和电子商务相关技术的研究和应用。更多信息请关注公众号“电子商务电子支付国家工程实验室”。


标签:大数据 磁盘 SAS SATA 硬盘/SSD 

LecVideo
论坛与活动