您当前的位置 : > 科技

AI存储瓶颈破解之道,西部数据用前沿技术持续引领存储革命

日期: 2024-11-29

原文:51CTO

 

当前,人工智能已经成为推动企业创新和可持续发展的核心驱动力。随着生成式AI时代的到来,各种大模型应用层出不穷,人们在关注算力和算法的同时,构建先进的数据存储系统,满足海量数据交互、存储和数据安全要求,提升生成式AI的效率、准确性和可靠性,也成为大部分企业关注的焦点。

 

西部数据在今年六月正式发布了人工智能数据周期(AI Data Cycle)存储框架,该框架阐明了在大型AI工作负载六个阶段中每一阶段的存储重点,旨在帮助企业级数据中心规划者厘清AI和数据存储之间的动态关系。

 

<人工智能数据周期>

 

从中可以看出,人工智能模型在数据消费和生成的自我延续、连续循环中运行。随着人工智能的发展和演变,它在原始数据存档和内容存储、数据准备和转换、AI模型训练、交互和提示、AI推理引擎、新内容生成六个不同的阶段创建了更多的数据,并在每一个阶段都有特定存储要求。因此,企业要在自己的AI数据周期中优化数据存储选择,借助不同特性的存储解决方案和基础设施设计,从而实现在整个AI架构中最大限度地提高性能并平衡TCO。

 

西部数据公司副总裁兼中国区总经理蔡耀祥表示:“人工智能汹涌的发展浪潮正以前所未有的速度推动着各行业的变革。随之而来的呈指数级增长的数据量以及更为复杂的运算工作负载,对用户构建下一代数据中心也提出了全新的挑战。西部数据深刻理解数据存储对于加速推进人工智能革新的重要意义,通过人工智能数据周期框架帮助用户搭建先进的数据存储基础架构,加速部署人工智能功能和应用。”

 

西部数据公司副总裁兼中国区总经理 蔡耀祥

 

AI时代,存储系统为何如何重要?

众所周知,数据作为AI的基础燃料,在AI的全生命周期内发挥着重要作用。生成式AI作为人工智能的一个重要分支,专注于创造全新内容,如文本、图像、音频和视频等,这要求存储系统具备高效、大容量、高性能以及安全可靠等特性,而先进的数据存储系统正是满足这些需求的关键。

 

根据IDC的调研结果,预计到2028年,全球将产出394ZB的数据,其中AIGC领域的数据产出尤为突出,届时,AI图像和视频生成将增长167倍。为此,构建高性能、大容量、高可靠和高安全、灵活扩展的先进数据存储系统,就显得尤期重要。

 

首先,生成式AI技术依赖于深度学习和神经网络等机器学习算法,这些算法需要从大量数据中提取特征、学习规律,并据此生成新的数据。因此,一个高效、大容量的存储系统对于生成式AI的训练和推理至关重要。先进的数据存储系统不仅能够提供足够的存储空间,还能够确保数据的高速读写,从而提高生成式AI的效率和准确性。

 

其次,生成式AI的应用场景广泛,包括自动驾驶、精准医疗、药物研发等关键领域,这些领域对存储系统的可靠性和稳定性要求极高。先进的数据存储系统需要确保存储系统的稳定运行,减少数据丢失和损坏的风险,为生成式AI的应用提供有力的保障。

 

最后,先进的数据存储系统还具备“开放生态、绿色低碳、安全可靠”等关键特性。开放生态意味着存储系统能够支持与多云、容器的对接,实现数据共享和数据流动,这对于生成式AI在跨平台、跨领域的应用具有重要意义,能够更好地推动生成式AI技术的不断创新和发展,为AI技术的广泛应用提供有力支撑。

 

综上所述,先进的数据存储系统在生成式AI时代发挥着至关重要的作用,是提升生成式AI效率、准确性和可靠性的关键保障。随着生成式AI技术的不断发展和应用领域的不断拓展,先进的数据存储系统的重要性将日益凸显。

 

技术创新赋能AI存储,打性能与容量的双重挑战

面对AI时代的数据存储需求,只有通过不断的技术创新,才能打破性能与容量的双重挑战,赋能企业构建先进的数据存储系统。

 

作为全球领先的存储厂商,西部数据通过多年的技术创新和经验积累,推出了全新的SanDisk DC SN861 NVMe SSD企业级PCIe Gen 5.0解决方案,以卓越的随机读取性能和能耗效率满足人工智能工作负载的需求。

 

SanDisk DC SN861 NVMe SSD – U.2

 

我们知道,相较于前代PCIe 4.0,PCIe Gen 5.0带宽几乎翻倍,达到了32 GT/s(千兆传输率每秒),这意味着数据传输速度的大幅提升。在AI领域,尤其是模型训练和推理过程中,需要处理海量的数据,并在处理器、图形处理单元(GPU)和专用AI加速器之间迅速传输。PCIe Gen 5.0的高带宽特性使得这些计算资源能够更加流畅地进行数据交换,显著减少了数据传输的瓶颈,从而提升了AI处理的效率。

 

SanDisk DC SN861 NVMe SSD在数据随机读取方面,性能相比上一代产品提升了约3倍,超低的延迟和非凡的响应速度尤其适用于大语言模型(Large Language Model, LLM)的训练、推理和人工智能服务部署。

 

容量方面,SanDisk DC SN861 NVMe SSD企业级PCIe Gen 5.0解决方案将提供高达16TB容量,在性能与容量之间形成了很好的平衡。此外,更低的能耗能够提供更高的每瓦特IOPS(IOPS/Watt),有助于企业进一步降低TCO。

 

最后,专为关键任务工作负载设计的SanDisk DC SN861提供了丰富的功能集,包括兼容NVMe 2.0和OCP 2.0规范、支持1次或3次每日全盘写入(DWPD)以及5年有限保修。

SanDisk DC SN861 NVMe SSD – E1.S

 

据记者获悉,SN861 E1.S企业级NVMe SSD已经通过NVIDIA的认证,支持NVIDIA GB200 NVL72机架级系统,让客户在设计过程中摆脱猜测,更快地将各种加速计算应用推向市场,更好地为计算密集型人工智能环境提供服务。

 

多样化存储产品组合,助力AI投资效益最大化

我们知道,在AI开发和应用的不同阶段,对存储系统的要求也完全不同。为此,除了SanDisk DC SN861专为计算密集型应用打造的高性能存储之外,西部数据还拥有专为存储密集型应用而打造Ultrastar DC SN655企业级SSD系列产品。全新的U.3规格Ultrastar DC SN655 SSD容量高达64TB,旨在为人工智能数据准备和构造更高速、更庞大的数据湖提供更卓越的性能和容量支持。

 

蔡耀祥表示:“西部数据提供包含高性能PCIe Gen 5 SSD如 SanDisk DC SN861 NVMe SSD在内的丰富的企业级存储解决方案,具备下一代人工智能工作负载所需要的容量、性能、能耗及成本优势,可助力用户从容应对未来人工智能持续升级下的存储需求,释放数据潜力。”

 

不难看出,西部数据通过为企业提供多样化的存储产品组合,让他们能够灵活应对不同AI应用场景下的数据存储需求。这种组合策略不仅提升了数据处理的效率与响应速度,还有效降低了存储成本,避免了单一存储方案可能带来的性能瓶颈或资源浪费,确保了数据资产的高效利用,加速了AI项目的ROI,为企业的数字化转型与智能化升级奠定了坚实的基础。

 

写在最后:

面对AI领域日益增长的存储需求与性能瓶颈,西部数据凭借前沿技术持续引领存储创新。通过研发高性能、高密度的存储解决方案,西部数据有效提升了AI数据处理的速度与效率,降低了存储成本。其多样化的存储产品组合不仅满足了AI在不同应用场景下的需求,还为企业优化投资效益提供了有力支持。可以说,西部数据的技术革新正逐步破解AI存储难题,引领着存储行业迈向更高效、更智能的未来。