网站首页 实验室介绍 科学研究 学术交流 人才队伍 开放课题 招聘信息 联系我们
业内动态

 
 
 如何为AI、机器学习和深度学习优化存储

2019-09-11 17:12:47


人工智能在机器学习和深度学习中的“复活”导致相关研究和产品开发的爆炸式增长,因为企业发现了创新性方法来将这些新算法用于流程自动化和预测性见解。从机器学习和深度学习模型(后者通常涉及模拟大脑的神经结构和连通性)的性质来看,它们通常需要获取、准备、移动和处理海量数据集。特别是,深度学习模型需要大量数据集。人工智能(特别是深度学习)的数据存储给企业带来独特的挑战。下面我们将简要探讨机器学习和深度学习软件的性质,而这将揭示存储系统对于这些算法的重要性,以确保它们提供及时准确的结果。
为什么AI和深度学习存储很重要

很多研究人员已经证明,深度学习模型的准确性会随着数据集的增加而提高。这种准确性的提高非常重要,以至于研究人员经常会使用复杂的数据增强技术来综合地生成额外数据用于训练模型。

例如,ImageNet项目的数据集包含超过1400万张具有一百万个注释的图像,这些数据集被用于对各种深度学习图像分类算法进行基准测试。同时,对图像分类硬件进行基准测试的ResNet-50模型通常会超过100MB。理想情况下,这些模型保存在内存中,它们需要源源不断的数据,而这通常会导致存储系统成为整体性能的瓶颈。

无论使用什么模型和应用程序,深度学习都包括两个步骤:模型训练和数据推理。模型训练是指,通过利用训练数据集,基于重复(通常是递归)计算以计算和优化模型参数的过程。数据推断是指利用已经过训练的模型对新传入数据进行分类和预测。

对于为AI和深度学习提供存储的系统而言,每个步骤都会以不同方式带来压力。对于模型训练,压力源于大数据集以及快速I/O—以提供可接受性能,这里的计算涉及分布式集群。而对于推理,压力来自必须以最小延迟实时处理数据。

深度学习的存储性能需求

深度学习算法的性质意味着它们会使用大量矩阵数学,这使它们非常适合GPU上的执行,GPU最初设计用于对像素数据进行数千个同步浮点计算。与计算机图形不同,神经网络和其他深度学习模型不需要高精度浮点结果,并且新一代AI优化的GPU和CPU(支持低精度8位和16位矩阵计算)使这些模型进一步加速,这种优化会使将存储系统变成更大的性能瓶颈。

深度学习模型和数据源的多样性,以及深度学习服务器通常采用的分布式计算设计,意味着旨在为AI提供存储的系统必须解决以下问题:

1.各种数据格式,包括二进制大型对象(BLOB)数据、图像、视频、音频、文本和结构化数据,它们具有不同的格式和I / O特性。

2.横向扩展系统架构,其中工作负载分布在多个系统中,通常有4到16个用于训练,可能有数百个或数千个用于推理。

3.带宽和吞吐量,可以快速向计算硬件提供大量数据。

4.OPS,无论数据特性如何,IOPS都能维持高吞吐量;这就是说,适用于很多小型传输和较少的大量传输。

5.延迟性,以最小延迟提供数据,因为与虚拟内存分页一样,当GPU等待新数据时,训练算法的性能会显著降低。

深度学习存储系统设计必须可跨各种数据类型和深度学习模型提供均衡的性能。

深度学习存储系统的核心功能

上述性能因素已推动AI存储系统供应商部署五个核心功能,包括:

1.并行的横向扩展系统设计,可逐步扩展且I/O性能随容量扩展。这种设计的标志是分布式存储架构或文件系统,这些系统将逻辑组件(例如对象和文件)从物理设备分离。

2.可编程的软件定义控制平面,这是实现横向扩展设计以及自动化大多数管理任务的关键。

3.企业级可靠性、耐用性、冗余和存储服务。

4.对于深度学习训练系统,紧密耦合的计算存储系统架构,具有无阻塞网络设计可连接服务器和存储,以及最低链路速度为10 Gb至25 Gb以太网或EDR(25 Gbps)InfiniBand。

5.SSD设备越来越多地使用更快的NVMe设备,可提供比SATA更高的吞吐量和IOPS。

深度学习推理系统对存储子系统的要求较低,并且,通常可通过在x86服务器中使用本地SSD来实现。虽然推理平台通常是具有本地SSD或NVMe插槽的传统1U和2U服务器设计,但现在它们越来越多地包括计算加速器,这些加速器可以将一些深度学习操作编译到硬件。

 

来源:TechTarget中国

 

[ 字体大小: 14 12 9 ] [ 打印]

高效能服务器和存储技术国家重点实验室 | 联系我们 | 京ICP备12012807号-3
© 2016 Hsslab