WatchStor.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 硬盘/SSD > 正文
机器学习在数据存储领域的应用 推动SSD的发展
作者: WS 2017-05-22 14:37 【WatchStor】

机器学习正影响着多个不同领域的技术部署,但是,在机器学习在数据存储系统中,事情就变得不这么引人注目了。在存储系统使用机器学习的时候,大数据存储和存储分层就属于两个不同的领域,但是在SSD存储领域,机器学习可能会有更大改进机会。

为了理解这其中的缘由,我们有必要快速了解一下SSD是如何工作的。当闪存NAND被制造出来且出售给SSD制造商的时候,就预先配置了各种注册设置,这种预写入要在一定电压下完成。同样的,当进行读操作的时候,如果有一个单元的电压发生了变化,这种读也会被告知。这些设定是由NAND制造商完成的,与控制器制造商没有任何关系。

更长的使用寿命

现在,我们假定预定的电压是7V,在NAND是全新的状态下,像一个单元供应7V电压是没有任何必要的。仅仅对这个单元给予2V的电压就可以让这个单元进行正常工作了,而且2V电压就可以让这个单元持续正常工作很长时间。当这个单元的写循环完成整个生命周期的时候,可以提高这个单元的电压,比如:3.5V,然后随着生命周期的完成,可以把这个单元的电压提高到默认的7V。最后,甚至以超过默认7V的电压来增加这个单元的寿命都是可以的。

通过改变NAND默认的读电压和写电压,以及各种其他的闪存注册设置,在SSD的整个生命周期中,通过一次或几次的改变,就可以显著的提高存储设备的使用寿命。事实上,并不是只有使用寿命增加了。其他设置也可以增强SSD的性能,而且还可以增强其数据保存的能力。

机器学习可以实现存储系统的最优化

最终,选择这些设置是一个优化问题,比如,在没有其他影响的情况下,通过改变设置可以增强设备的使用寿命,但是,大多数情况下,要通过牺牲性能或者数据保存能力来实现的,甚至要同时牺牲性能和数据保存能力才能够实现。在实践中,最需要平衡的是使用寿命和数据保存能力。很多制造商选择设置设备保存是因为九个月就能够测试这个数据,但是在数据中心环境中,在断电的情况下,SSD可能只能够保存数据一天到两天。通过改变设置来降低保存时间,这种也可以在增强设备寿命中实现。

但是,还有一个问题。传统的2D NAND可能有30-50个设置,而且它们之间有高度的复杂的相互关联性。这就意味着改变其中的一个,其他的就会受到很大的,且不可预期的影响,这就使得很难通过手动设置来实现预期的效果。对3D NAND来说,现在大多数NAND供应商已经开始使用垂直堆叠阵列了,可能会有成千上万种设置。所以,至少对于人类来说,要进行优化基本上是非常复杂的且不可能的。

存储系统中的机器学习就大有用处了:在3D NAND中,人类可能不能优化成千上万的NAND设置,但是这种设置是机器学习系统擅长的。

机器学习在存储系统中的应用还处于初级阶段

现在,只有一家名为NVMdurance的爱尔兰公司在进行存储系统中的机器学习。这家公司把自己定义为"自动化闪存最优化公司",其机器学习技术让其可以采用个性化厂商的闪存NAND,并可以针对不同的操作需求自动生成各种各样的、最优化的闪存注册设置。

NVMdurance公司的CEO Pearse Coyle表示,但是,即使在存储系统中以这种方式使用机器学习,完成设置也是很慢的。需要花费三个月的时间和上百块新的闪存才可以生成所有的设置。

Coyle表示,为了了解完成这些设置的复杂性,NVMdurance公司利用100块NAND硬盘,让其写和读,进行结果测试。然后建立几百万虚拟设置的硬件和产品的软件模型。这样,机器学习系统在虚拟设备上测试了各种不同的参数,并表示将会进行真正的硬件测试。

成千上万的排列组合

机器学习系统测试到底有多种不同的参数呢?Coyle表示,大概有几百万种排列组合,我们使用上千种云端CPU来进行这些测试。实际上,实验空间是很大的,但是我们很快发现了这些参数之间的联系,所以我们能够降低这些数据的维度。

Coyle表示,通过使用机器学习,公司的技术可以最优化NAND的注册设置,这些注册设置可以提高设备寿命、或者性能,或者数据保存能力,甚至能够对这两个极端的生命周期产生一系列动态设置:性能优化的第一配置,甚至,随着NAND寿命增长其性能开始下降的时候,能够通过优化注册设置来延长存储寿命。

与2D NAND相比,3D NAND的缺点是存储媒介的质量不太好。结果就是,制造商指定了一个复杂的纠错表格,该表格被命名为低密度奇偶校验(LDPC),LDPC包括一个名为对数似然率(LLR)的表格,这些都是比较费时,并且比较难以实现的,具体到特定NAND都需要特定设置。所以说,这就需要NAND制造商为那些需要特定类型NAND的SSD制造商提供这种设置。

存储系统中使用机器学习设置LLR表

所以,这里还有另一个问题:如果NAND设置改变了,可能这种设置能够优化设备寿命,那么LLR表就失效了,Coyle表示,这就限制了那些想用不同的设置来区分自己不同产品的SSD制造商。我们认为大概有60左右的SSD制造商,因为不能使用供应的LLR表而不能把3D闪存推向市场。但是,NVMdurance的在存储系统技术中的机器学习可以为任何3D NAND注册设置生成LLR表。

在这一点上,非常有必要询问一下,这些业务背景下为什么这些这么重要。在存储系统中使用机器学习来优化SSD,使其具有更长的寿命,或增强其他功能,真的这么重要吗?

机器学习在存储系统中应用的商业案例

数据存储公司Tom Coughlin的创始人Tom Coughlin对此问题的回答是绝不含糊的:是的。3D NAND的寿命下降是非常显著的,所以需要增加设备的寿命。降低成本的一种方式是增加设备寿命。这种技术能够弥补制造商之间的不同,有助于提高晶圆产量,这样就可以降低成本。

Coyle表示,在不断增长的嵌入式设备市场,更长的寿命是非常重要的,因为更换存储设备是很困难的。任何人都不愿意只是因为存储新品损坏了就扔掉一部车的。

Coyle还补充表示,对于哪些提供固态硬盘存储作为服务的云供应商,设备寿命的增加意味着他们可以通过更长时间的出租SSD,这就能够产生更高的收益。

Coyle还指出,对于超大规模的用户来说,在存储系统中使用机器学习能够让这些用户在SSD控制器中通过软件来把SSD寿命划分成各种不同阶段。这就能够监控SSD能够运行多长时间,已经被使用了几个周期,设备的错误率等等。当达到一定阈值就可以开始使用新的注册设置。这可以确保设备寿命最大化,也可以被用来把高性能SSD转变为持久性的设备。

非常值得一问的最后一个问题是,机器学习在存储系统中应用的有效性是什么样的呢?潜在的收益是什么呢?Coughlin总结到,我已经看到在牺牲其他性能的时候能够有二十倍的寿命增加,但是实际上五到七倍的寿命增加是非常可能实现的。


标签:硬盘/SSD 

了不起的IT经理
LecVideo
论坛与活动