WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 大数据 > 正文

BCM2009:央行某业务系统运行环境切换一周实践经验

watchstor.com  佚名丨2009-11-09 23:29 标签:大数据 混合云 数据保护 云存储 服务器虚拟化 

感谢主持人的介绍!非常高兴能够受到本届主办方的邀请,特别是人民银行科技司前司长陈先生的邀请,给我们提供了一次与各位专家、同仁们一起交流沟通的机会,同时也感谢协办方为大家的交流提供了这么好的场所。
在正式演讲之前,我想花点时间介绍一下我所在的单位中国人民银行清算总中心,中国人民银行清算总中心是人民银行直属事业单位,我们这个单位是承担中央银行、商业银行和全社会所需要的资金跨行清算的任务。
现在已经建设并运行。通过这样一个金融基础设施,我们为全社会提供了相关的清算服务。

可以说随着金融基础设施的建设和不断的推广应用,目前承载着资金流动量非常大。目前运行的金额大概是每天3万亿,大家都知道,股票市场每天交易量大概是几千亿,而我们是万亿计。
同时业务量也逐年提高,目前已经达到了200万例左右,业务底数与各位商业银行相比较还是比较少的,但是金额量占了整个国民经济资金流动量的绝对比例。
我今天要演讲的题目是:支付系统异常处理能力和业务持续管理,我想把这个题目分成三个部分做一介绍。第一部分是简单介绍一下支付系统的概况,第二部分介绍一下支付系统业务持续管理方面我们所开展的六个方面的工作,第三方面是从我个人角度对下一步支付系统在业务持续管理方面初步的设想,与与会各位代表做个交流。

支付系统,刚才我在介绍我们单位时也简单介绍了一下,它实际上是由中国人民银行所建设的支付系统以及各个商业银行、金融机构所建设的支付系统共同所组成的,只是人民银行所建设的支付系统处于核心地位。核心系统依托各个银行与金融机构所建设的行业性,共同构成了中国支付系统的骨干系统。
除了主干系统以外,同时人民银行业在支票支付系统方面、银行卡支付系统方面以及境内外支付系统方面等加大建设力度,目前也投入运行了全国支票交换系统、境内外支付系统,还有大家都非常熟悉的,每天都在使用的银联支付系统等等。最近几年,通过互联网先进的信息技术手段,我们的互联网支付活动也日趋活跃,特别是目前法律上还没有明确的第三方清算组织的推动,可以说在互联网支付方面,在第三方支付方面,支付系统的发展非常迅速。
从这张图片上大家可以看到,人民银行组织建设并且运行了现代化支付系统,是处于整个支付体系结构当中的核心地位,根据它的核心地位以及所承担的业务处理金额,所以作为我们清算总中心负责运行这么一个重要的系统,确实在业务持续管理方面压力非常大的。
这张图片用另外一种形式展示了一下,人民银行所建设的支付系统与相关的各个支付系统的关系示意图,从中可以看到,人民银行所建设的核心系统不仅和人民银行内部的骨干系统相连,同时还和整个金融系统所建设的其他各个支付系统相连,包括外地交易中心、中国银联、行业拆借中心等等。大量参与的是各个银行的分支机构。
第二方面我想介绍一下支付系统的结构和业务。支付系统的结构简单说来它就是三级两层的结构,三级指的是数据处理中心有三级,最上面叫国家处理中心,好比是数学结构当中的根,第二级处理中心简称城市处理中心,城市处理中心遍布全国31个省市自治区,包括深圳市,这一级好比大树中的枝干。第三级处理中心就是由各个参与者,包括人民银行会计核算系统、拨付系统及各个参与银行的行内系统所组成的处理中心,这一级的处理中心好比大树的枝叶。

为了把三级处理中心很好的连接起来,我们又建设了骨干网和城内网,骨干网为了连接国家树立中心和三十二个省市,城内网连接第二和第三级。目前所构建的这套支付系统具体的应用,像这张图片上所显示的,简单说来一共有四个业务系统,一个是现代化的支付系统,里面又细分了,第二个是全国支票交换系统,第三是境内外支付,第四是电子商业支付系统,电子商业支付系统还在试点,明年将逐步向全国进行推广。

需要说明一下,刚才我介绍到支付系统总体来讲,它的结构是三级两层,但是境内外支付系统实际是两级两层的,少了一级,就是城市数据中心,换句话说,从各个参与者的处理中心发起业务以后,直接就可以上传到国家数据处理中心。
介绍了系统的概要情况,目的是想要从中总结出这套系统在运行的过程中会有哪些要求和特点,我个人总结成四个方面。一方面,服务时间长,人民银行的支付系统。
杨文杰 : 有些系统是7 24小时运行,就是一周当中没有任何时间的停歇,也有的系统是一天一歇,一天运行八到九个小时,要保证这样的系统运行,我们需要针对不同系统制订不同策略。
所有业务的发起将从全国各地71000多家传递到1500家左右的直接参与者,再从直接参与者传递到城市处理中心,再由城市处理中心传到国家处理中心。第三是服务对象众多,从系统构成就可以看到,不仅有银行内部的运作,更多是银行及金融机构各个领域。
关于支付系统业务持续管理的情况,要运行好这套支付系统,刚才讲到系统有四个特点,要确保系统不论在一般的情况下还是在突发事件发生的情况下,不论是在日常运行维护过程当中,还是在出现故障或者出现异常的技术情况和业务情况下,都能保证稳定运行。我个人理解,结合支付系统的具体实际情况,要保证系统的稳定运行,它至少需要三个方面考虑,第一方面考虑是如何确保它安全运行。
安全运行实际上就是要在内部有安全防范措施,换句话说,要有效的防范内部攻击,同时要防范外部的攻击。在外部防范完全方面我们也配备了相应的信息安全设施和防范措施。
对于我们本生的业务处理来讲,要确保安全最重要的一点,就是通过各种各样的措施使我们所处理的数据完全正确,既不能少也不能多,就是不能错。
另外要确保连续性,因为我们对外承诺的是5 9或者7 24小时的运行服务,这个承诺是有它的刚性要求,属于你出现了中断就不行。为了保持连续的运行,真正要抓好一个环节,就像防火一样,等多火灾发生的时候你再去救,已经是中策,上策就是要防止火灾的发生。对于我们来讲,我们也是确立了这么一个思路,如果能够做好日常运行,大部分情况下连续性就可以得到保障。

第三是高效运行,你在运行的过程当中,虽然你在对外提供服务,但是你的服务要有一定的质量,你的响应时间,你的功能完备性,都是应该得到保障的。
为了实现连续运行这一高的目标要求,我们从下面六个方面开展了工作,这些工作的开展也是参考目前已经有的一些业务持续管理方面的标准、指南等等,他们的一些理论和实践指导,结合我们支付系统以及清算总中心单位的具体情况所制订的六个方面的工作内容。

第一个工作内容是健全组织机构,任何一件事,人永远是第一位的,人的因素应该是最重要的。第二是要规范异常情况,在平常工作中有可能遇到一些相对不太严重、恶劣的事件,我们说系统出现技术故障。第三完善应急预案,在发生极端情况或者灾难性事件的时候,包括运行中心所处的城市发生大面积的供电中断,或者出现自然灾害,或者出现公共卫生事件等等,应对这些情况我们首先要完善应急预案。
第四是建设备份系统,第五是定期组织演练,第六也是非常重要的,也是往往被我们忽视掉的,就是在演练以后进行认真的评估和改进。下面我花点时间具体的介绍一下。
关于组织机构方面,人民银行已经走过了相对曲折的过程,一开始这套系统运行在总行运行,32个城市处理中心的维护工作任务又都非常艰巨,在刚刚开始的时候我们这套系统的可用性还是比较低的,基本上就维持在98%,在座的只要对城市运行维护工作熟悉的同志都清楚,98%的话,在一年中中断的时间应该是不少的。经历了几次大的故障处置后,银行上上下下达成一致的认识,要搞好系统运行稳定工作,组织机构的确定是第一位的。从2005年年底开始,在32个分支机构分别设置了清算中心,总行一级叫总中心,陆续引进了技术业务能力,为业务持续管理工作打下了很好的基础。

第二是规范异常处置,处置方面我们用了四条原则,由银行科技司提出的,我们就按照这个原则来处理日常运行过程中可能遇到的各种各样的情况。早发现早报告早处置早解决,早发现一个是要强调责任心,二要利用监控系统,尽量让系统自动报告,技术人员有时候经常遇到故障的时候,会把精力全部投入到解决故障当中,而是按照流程,向其他人员报告。第三是早处置,我们重点抓的是建立知识库,以及根据故障经验汇总一些处理的流程,早解决是我们三早所要达到的最终目的。
在规范过程中我们也根据最佳实践指南建立了相关的规章制度,最主要的是故障处理规定以及系统健康的处理规定。第三方工作是完善应急预案,应急预案不仅仅是支付系统本生技术方面的应急预案,更重要是能够应对各种各样灾难性的事件,包括水灾、火灾、地震等等自然灾害,同时还要能够应对公共卫生事件,能够应对系统可能出现的,在短期内无法得到妥善解决的重大故障,这个应对预案的制订也走过了从无到有,从不健全到相对健全的过程。从2007年我们国家颁布了应急预案的法律法规,国务院也逐年也做出相关规定和要求,人民银行基本是按照国务院的要求,然后结合系统的具体情况,不断完善应急预案。
目前应急预案已经制订了各个系统,包括我们四套业务系统,都有各自的应急预案,每级处理中心都要结合自己的具体情况来制订。这是完善应急预案方面所做的第一项工作。第二项工作是细化流程和操作过程。第三是要明确预案启动的条件和制订预案的范围。
这很重要,在发生应急或者灾难性事件的时候,怎么样去决策启动应急预案是非常艰难的过程,这不像在系统发生一般性故障的时候,很简单,直接切到备份设施当中,如果发生灾难性事件的话,你要从一个站点切换到另外一个站点,如何来判断应急事件的走势,如何来做出决定,是一个非常艰难的过程。
我们在前几年演练中,一直认为应急方面是很重要的环节。我们制订应急预案过程中,也尽可能根据一些经验和相关的标准规定,尽可能把这个环节制订的详细。第四方面是建设备份系统和监控系统,备份系统实际是应急管理的基础设施,如果你没有备份系统,你就是有一套很好的预案,也没有基础的支持,也无法保证业务的持续。人民银行在这方面是非常重视,投入了大量资金。
首先我们确立了一个原则,所有重点这被都是双份的,包括供配电设施,包括计算机设备以及网络设施各种设备,同时还确立了尽可能早的建设备份系统,这个备份系统指的是灾难恢复的备份系统。

目前为止,我们国家数据中心已经运行的四个业务系统都已经建立了灾难备份系统,同时对于骨干网来讲也是如此。传输途径还不止两套,我们准备了四套。监控系统我这就不说了,主要是按照最佳实践指南搭建的系统,包括监视、监控和展示,目前设在国家树立中心和城市处理中心两级。

第五方面是定期组织切换演练,切换演练的目的很影响,首先就是要检验备份设施的可用性和完备性,我们花了大量资金、人力、物力,建设了备份性和备份站点,这些设施由于长期不用,很有可能出现变化,所以一定要进行定期演练,就是进行定期使用。第二方面就来验证应对流程和步骤的正确性。在发生异常情况的时候,人们再去现场商量,说这件事情应该按照什么样的流程,什么样的步骤,有哪些人完成,这需要花大量时间,所以事先要按照预定流程和步骤来做。
定期操练后,使得人员对这些流程、步骤有一定的熟悉程度,这样一旦发生紧急情况的时候可以妥善处置。总的目的是提高所有参与、处置这些异常情况,包括灾难性事件,也包括领导对异常处置的能力,在演练过程中不断得到提高。
我们根据自己的经验,实际领导的演练也很重要,前期的决策不是由技术人员做出的,而是领导做出的,属于领导不参与进来,前期的决策过程就变得很长,这样有时候往往失去宝贵的时间。
第五方面我想重点介绍一下,我们在切换演练方面的一些具体做法。我们从2004年开始组织切换演练工作,一开始的时候都设置十几个分部做练习,后来随着系统的逐渐提高,我们逐渐把演练方式也进一步提高,提高到实战水平。
2008年一共设置了59项演练科目,都成功了进行了实施。需要提到的是在2005年,我们把国家处理中心从北京成功的切换到江苏,运行了一周,运行的非常顺利,处理的业务很正确,这项工作得到了国务院领导的高度评价。在2009年8月中旬,我们又把四个业务系统从北京切换到江苏应急备份站点,成功运行一周,这一周业务的处理也是完全正确的,这一周也出现了二十多个技术故障,也得到了妥善处理。
这是一个示意图,说明国家处理中心切换的时候,从北京切换到江苏,换句话说就是脑袋变了,身子没有变。第六方面的工作一定要认真抓好评估和改进工作,每次演练,不论大小,检验系统的程度是深还是浅,都必须进行总结,而且总结一定要书面化,总结后才能对所存在的问题提出相应措施.
根据这些存在的问题以及改进措施逐步落实,第一要落实的是完善理念和流程,第二要把暴露出来的技术问题,也包括管理问题逐步解决。第三要针对演练的情况进一步加强演练培训,进一步提高他们对国好系统运行应该保持危机意识、安全意识。
第三部分内容是从我个人角度谈谈下一步支付系统在业务持续管理方面应该开展的几项具体工作。第一方面是关于适应社会新需求的,从上面的介绍大家可以看出,实际上我们业务持续管理工作完全是根据全社会,根据各个商业银行对支付系统提出的一些要求,根据国务院的统一安排和人民银行统一的部署来进行的。在实用性方面相对比较强的,但是在理论方面我们确实研究的还不够,下一步还是要深入研究一下相关的标准和指南。
刚才几位领导和嘉宾在致辞的时候都谈到,对于BCM的概念以及理解进行了阐述,下一阶段我们要把相关的标准指南进行深入的研究,结合支付系统的具体情况进一步把我们的业务持续管理工作做的更专业化。
具体说来,下一阶段我们需要改进的有这几方面,第一方面还是要加紧对灾难恢复系统的建设,刚才讲到,我们灾难备份建设与同行比较起来应该处于比较到位的程度,但是实际上生产系统和灾难备份系统总有一段时间,我们尽可能要做到同步。现在做到电子商务系统还正在建设当中,还没有使用。目前城市这一级还缺少灾难备份系统,今年准备做演练,因为时间关系没有做。第二方面是要继续把现在做的工作做好。
以上是我与大家分享的关于支付系统在业务持续管理方面所做的工作,感谢各位专家和与会人员的聆听,同时代表清算总中心预祝本次论坛圆满成功,谢谢大家!

【编辑推荐】

  1. BCM2009:工业信息化部信息安全协调司副司长欧阳武致辞
  2. BCM2009:中国BCM专业委员会主席陈建新致辞
  3. BCM2009:中国信息化推进联盟常务副理事长邓寿鹏致辞
  4. BCM2009:国际灾难恢复协会副主席Mr. Louis J. Drapeau
  5. BCM2009:中金数据系统有限公司总裁张利致辞

相关资讯

今日微信独家

《华尔街日报》报道日前援引知情人士的消息称,由于被美国政府以国家安全问题为由进行调查,联想斥资23亿美元收购IBM低端服务器业务的交易陷入了停滞状态。
关注新浪官博 订阅微信订阅号

订阅焦点周刊

论坛与活动

2016中国数据加速峰会直播专题
2016中国数据加速峰会直播专题[详细]
点击查看

精彩视频

最新文章

1111111
1111111
asdasd
asdasd
同有科技应用型大数据存储在南京掀起智能风暴
同有科技应用型大数据存储在南京掀起智能风暴
斯蒂芬斯蒂芬
斯蒂芬斯蒂芬
京东双11技术备战 构建多中心交易系统
京东双11技术备战 构建多中心交易系统