WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 存储安全 > 正文
当Windows超融合遇上Oracle RAC:S2D测试之四
作者: 高翔(Sean)、唐僧 2017-12-18 17:28 【WatchStor】

本文内容要点:
1、在Windows+S2D超融合上搭建Oracle RAC
2、SwingBench压力工具的I/O和CPU负载
3、计划内维护--虚拟机迁移测试
4、破坏性测试1:存储节点Reset
5、破坏性测试2:RAC+存储节点Reset
6、Orion OLAP测试:意料中的单虚机10GB/s+带宽

接前文:《4节点近160万IOPS:SDS/超融合测试不能只看数字》
《12万邮箱ESRP测试:Exchange超融合存储设计漫谈》
《揭秘VDI存储测试:4节点SDS模拟12000虚拟桌面》

在上一篇评测发表之后,有朋友提到如果只用4个节点(超融合)VDI是无法支撑1万2千个虚拟桌面的。没错,所以我们写"SDS"就是设计的计算--存储节点分离式架构。

同时我也承认,像VMware VSAN、微软S2D这种操作系统/HyperVisor内置的SDS/Server SAN,当前大多数用户采用超融合部署方式,并且节点数普遍不是太多。

能否支持Oracle RAC集群,如今对几家主流大厂的超融合方案已经不是难题了。在开始介绍本文的验证测试之前,我们再次查阅了Oracle网站上的支持信息。

http://www.oracle.com/technetwork/database/virtualizationmatrix-172995.html

Supported Virtualization and Partitioning Technologies for Oracle Database and RAC Product Releases

Unix, Linux, & Windows Operating Systems

截取的这个表格,只包含OS和虚拟化技术的认证,应该还不包括S2D存储功能。

与前面三篇评测相同,我们是在Windows Server 2016 DataCenter系统上搭建的微软S2D(Storage Spaces Direct)存储和Hyper-V集群。至本文截稿之日,WS 2016虚拟机+Oracle 12c R2(12.2)已经出现在甲骨文的支持列表中,早些时候还只有WS 2012的信息。因此我们也先后尝试过在2种虚拟机OS版本上安装RAC,总体上都还比较顺利。

准备工作:Oracle 12c R2 RAC搭建

虽然上图中写了VHD Set不支持Windows 10之前的(虚拟机)操作系统,但我们测试中分配给Windows Server 2012 R2的ASM磁盘是正常使用的。

需要注意的是,在S2D的CSV(集群共享卷)上创建Oracle ASM使用的磁盘镜像时,应该选择VHD Set而不是VHDX,因为这些磁盘需要同时挂载多个虚拟机到共享访问.

为不同节点上2个RAC虚拟机分配的Oracle ASM数据磁盘,分别来自Owner在多个节点上的CSV。在网络不是瓶颈的情况下(测试环境为100Gb RDMA以太网),这样做有利于性能。

上面是单个数据库虚拟机的配置信息。由于我们使用的Dell PowerEdge R630服务器上是2颗10核(20线程)CPU和128GB内存,这次就为虚拟机分配了40个虚拟处理器和64GB内存。关于磁盘(SSD)的配置情况我还会陆续交待。

注:物理Server后面的数字代表管理网口IP

为了帮助大家更好地理解,我们画了上面的示意图,其中简略了微软S2D的一些层次结构。

(1)每个CSV上的VHD Set磁盘文件,其数据块打散分布在4台服务器上的28个SSD。
(2)虚拟机访问数据时会经过CSV当前的Onwer节点,如果它们正好在同一节点,会享受到超融合的本地读优化。在最常用的2节点RAC方案中,为了使S2D的CSV存储开销平均分布到4个节点,我们配置了"完全互连"的磁盘组,也就是2个VM对应3-4个CSV。
(3)在Oracle RAC安装、SwingBench与可用性(破坏)测试部分,我们使用了来自3个节点CSV的ASM磁盘;后面的Orion测试则用上了全部4个节点Onwer的CSV。

如上图,由于S2D本身已经是3副本保护,所以在创建ASM磁盘组时选择"外部冗余"就可以了。

SwingBench压力工具的I/O和CPU负载

由于本文主要目的在于可用性验证,装好Oracle RAC集群后我们几乎没有做任何调优,在SwingBench中选择了一个简单的事物开始压测。双节点的TPS(每秒交易数)有时能达到16000,TPM(每分钟交易数)超过93万。

记得我们之前在《Optane P4800X评测(2):Oracle 170万TPM意味着什么?》一文中调优后测出有实用意义的TPS为单机13000,不过那套Dell PowerEdge R830服务器是4路10核Xeon E5-4610 v4 1.8GHz CPU。另外跑的事物类型也不相同,没必要直接对比。

除了TPS/TPM我们还要关注S2D集群上的存储负载。在上述测试中两个Oracle虚拟机的IOPS请求加在一起也没有超过2万,此时的压测显然是CPU成为了瓶颈。

2台R630服务器上的CPU都跑满了,并且Xeon E5-2640 v4还Turboboost到2.57GHz的频率。根据我们以前对S2D的了解,每节点的CPU至少能支撑40万以上4KB读IOPS,所以当前的压力绝大部分来自于RAC数据库。

倒不是说Oracle就不能把压力加到存储上。我们换了一个压力模型,2个节点总IOPS达到了23万(如下图)。不过此时TPS看上去并不养眼,应该是因为复杂长事物中的I/O操作较多吧。

Oracle OLTP应用的典型I/O大小就是8KB。对于超融合用户来说,可以评估下这个IOPS是否能满足自己应用的需求。

计划内维护--虚拟机迁移测试

在Oracle RAC集群正常运行的情况下,我们首先对其中一个虚拟机手动"Live Migration"到另一个节点。

Windows超融合集群上的Oracle RAC虚拟机节点,在18-19秒完成迁移。如果不是CPU满载,或者分配的内存容量较小还会更快。

我们看到TPS最低点在8000左右,此时恰好是1个Oracle数据库节点的性能。

 

如上图,在虚拟机迁移的瞬间TPS有个下降后很快恢复;而TPM数值统计的是过去一分钟,因而没有明显的波动。

破坏性测试1:CSV存储节点Reset


模拟破坏性测试,我们是通过Dell服务器iDRAC带外远程管理界面来操作的。

接下来就要做Windows+S2D集群的节点冷重启(Power Cycle)测试了。这里面还要分为两种情况:

(1)被重启/关机的服务器上没有Oracle RAC虚拟机,只提供S2D的存储资源,也就是其中一个CSV的Onwer。
(2)模拟故障的服务器上同时还运行RAC虚拟机。

先来看第一种情况。

由于分布式存储的冗余配置,无论多副本还是纠删码保护都应该能通过这个测试。

如上图,当组成ASM磁盘组的一个VHD Set对应CSV Onwer节点离线时,Oracle IO会hang住10多秒然后恢复,就像传统存储阵列的多路径故障切换Timeout那样,数据库连接会话不中断。S2D集群应该也有一个默认的超时设置,因为如果我们手动切换/切回(Fail over/Fail back)CSV Onwer基本上是即刻完成的。

原来Onwer在46节点的Cluster Virtual Disk,在故障后自动切换到了48节点。

等46节点重启恢复之后,我们想把CSV Onwer切回来也只是点两下鼠标的事,在这个实验中只涉及到少量数据的Rebuild,还没有触发Rebalance重平衡。

破坏性测试2:RAC+存储节点Reset

这部分的操作,会触发一个12c RAC虚拟机节点在Hyper-V故障转移集群中的另一台服务器上自动启动(HA接管)。我们记录了一下时间,Window Server 2012 R2虚拟机OS启动只用时31秒,至故障发生后3分23秒Oracle ASM实例启动完成,5分25秒整个数据库恢复正常。

就此我咨询了一下数据库专家朋友,Oracle启动时间受版本影响比较大,我们测试的是12c(12.2),如果换成10g或者11g应该会快很多。

Orion单虚机10GB/s+带宽:别忘了100GbE RDMA

下面使用Oracle Orion I/O压力工具来测试下OLAP(数据仓库/分析型负载)存储性能。

由于带宽测试使用1MB大数据块,从S2D存储底层到虚拟机上层都不会有多大CPU的开销,这一点与IOPS测试不同。

最后我们又简单测试了一下带宽,发现只要1个虚拟机就能基本达到11GB/s顺序读的峰值。每个VHD Set磁盘建立在不同节点Onwer的CSV上,相当于用Orion模拟了ASM条带化的效果。

具体来说,就是11,007 MB/s中有大约3/4来自跨节点访问,而本次测试环境的网络比较牛(见下图),这些都不是问题。

在实际生产环境,推荐使用性价比较高的25Gb网络,同时网卡支持RDMA,双端口NIC Teaming能提供50Gb带宽,可满足高负载业务需求。

由于是2个100G网口Active-Active连接,虚拟机中的网卡速度显示为200.0 Gbps。

在顺序写测试中,我们同样遇到了SSD性能随时间下滑的正常情况。也就是说S2D集群配置的盘"还不够快",否则在第一篇测试中也不会顺序写只达到2626MB/s。如果只是看峰值写入带宽,超过3700MB/s的情况我也见到过。

至此,本次微软S2D系列测试告一段落,感谢朋友们的大力支持!

特别鸣谢

上海维赛特网络系统有限公司副总工程师 高翔(Sean)
上海戴尔客户解决方案中心Tony Wang


标签:存储安全 存储网络 

LecVideo
论坛与活动