什么是 AI 存储？

AI 创新正在飞速发展，AI 项目既需要能够适应数据增长扩大的存储架构，也需要满足 AI 驱动型工作负载对性能、可扩展性及低延迟访问的要求。

根据 Precedence Research 的研究，全球人工智能驱动存储市场规模预计将从 2025 年的 359.5 亿美元增长至 2034 年的约 2552.4 亿美元。年复合增长率 (CAGR) 预计达 24.42%。¹AI 和 ML 的加速融合，加之各行业 AI 存储用例的增加，正持续推动市场增长。

企业正通过现代化数据存储基础设施来挖掘 AI、ML 及高级分析技术的商业潜力。然而，数据与工作负载分散在不同地域、AI 训练与推理工作负载耗时增加等问题正带来挑战。此外还需应对图形处理器 (GPU) 等按需资源的成本压力与稀缺性问题。 

IBM 商业价值研究院 (IBV) 的研究表明，62% 的高管人员预计其所在企业将在三年内全面应用 AI 技术。但仅 8% 的受访者认为现有 IT 基础架构能完全满足其 AI 需求。

展望未来，仅 42% 的受访者相信现有基础设施能承载高级 AI 模型的数据量与计算需求。同样，仅 46% 的受访者预计现有设施可支持大规模实时推理任务。

AI 工作负载需要能够减少数据处理瓶颈的系统——这些瓶颈会拖慢模型训练、微调及推理进程。同时还需要可扩展的存储系统来处理持续增长的数据集，尤其是生成式 AI 与大语言模型 (LLM) 工作负载相关的数据。

为满足这些需求，AI 存储可通过应用编程接口 (API)，与开源及专有的 ML、深度学习框架实现无缝集成。此功能能够加速 LLM 训练与模型开发进程，并提升整个 AI 系统的整体性能。

了解更多信息，请查阅：《AI 基础设施：存储为何至关重要》。

传统数据存储适用于通用商业应用程序，而 AI 存储则为高效且经济地训练和运行复杂的数据密集型 AI 模型提供基础支撑。

传统存储虽能处理结构化和非结构化数据，但其设计针对具有可预测模式的典型商业工作负载，并不适用于分布式系统上的模型训练及大规模推理任务。

AI 存储指用于存储和管理数据以训练和运行 AI 基础设施的系统，包括数据湖、云存储及数据库。它专为处理海量非结构化数据（如图像、音频、视频、传感器数据）而设计。

这类数据需要能够提供高 IOPS（每秒输入/输出操作次数）和超低延迟的存储系统，在模型训练与推理阶段尤为关键。

总而言之，传统存储与 AI 存储的核心差异可归结为工作负载规格的不同。传统存储为稳定、可预测的操作而构建，而 AI 工作负载 在其全生命周期中具有独特且严苛的需求。

AI 系统生命周期的每个阶段——数据采集、训练、推理与模型更新——都存在独特的存储需求，需要拍字节级别的存储容量与高速内存支持。

AI 存储通过数据管道促进从数据收集、预处理到模型使用的持续数据流动。它采用可扩展架构（包括对象存储与并行文件系统），跨多个存储节点并行处理数据。此功能使得 AI 应用能够以所需的高速处理实时数据。

为平衡成本与性能，人工智能存储通常采用分层存储机制。频繁访问的数据（热层）存储于高速缓存和闪存，次要数据（温层或冷层）则存储于经济高效但速度较慢的存储技术中以实现长期保留。

• 闪存存储： AI 存储依赖于固态硬盘 (SSD)。这类基于半导体存储设备的 SSD 通常采用 NAND 闪存技术，通过高性能、低延迟与高吞吐量特性为训练和推理任务处理数据集。

• 单层设计： 多数 AI 存储解决方案采用单层架构，为频繁访问的数据提供统一整合的环境。此类架构支持闪存或 SSD 存储，以实现低延迟与高 I/O 性能。

• 高带宽内存 (HBM)：数据中心  GPU、 CPU、加速器及部分固态硬盘采用高带宽内存技术，其数据传输性能优于传统内存架构 动态随机存取存储器 (DRAM)，且功耗更低。

• NVMe（非易失性内存快递）技术：作为一种专为高度并行数据传输设计的协议，NVMe 在 AI 存储中至关重要。NVMe SSD 与网络存储 (NVMe-oF) 具备支持 AI 工作负载大规模并行处理所需的速度、可编程性与容量。 

• 数据存储库：AI 存储利用数据平台与数据服务（例如数据湖、 数据仓库、 湖仓一体）为原始数据和非结构化数据创建集中化的存储环境。这一过程打破了数据孤岛，消除了跨系统迁移数据的需求。

• 数据缩减技术：通过数据 去重、压缩及分层技术，在保持 AI 工作负载所需高性能访问的同时，有效降低企业存储资源占用与成本。

• 可扩展环境：AI 存储通过高性能横向扩展基础设施模型部署，包括 混合云、本地部署、 超大规模 数据中心及 边缘 环境。

AI 存储为优化 AI 工作流与基础设施性能提供关键优势，包括：

• GPU 加速性能：支持 GPU 加速的应用程序与工作负载，提供 AI 训练与推理所需的吞吐能力。

• 统一数据访问：支持跨异构数据源的文件、卷及对象访问，涵盖传统存储、云及边缘环境，消除跨系统迁移数据的必要。

• 免迁移数据访问：支持跨多平台、多位置直接访问数据，无需物理移动数据，从而减少数据重复与网络成本。

• 自动化数据保护：通过策略化配置及跨环境加密等保护机制，确保 AI 数据集在全生命周期得到防护。

• 混合云集成：实现数据中心与公有云资源的数据联通，提升应用协作效率，增强 AI 工作负载的敏捷性。

• 简化存储管理：提供内置可扩展性、自动化功能与简化运维，降低 AI 项目的复杂度。

• 成本优化在消除数据孤岛与冗余的同时，整合计算与存储资源以降低基础设施成本，且不影响 AI 性能。

AI 存储在各类数据密集型 AI、ML 及高性能计算 (HPC) 工作流中发挥关键作用。以下是部分行业特定应用场景：

• 零售

• 医疗保健

• 财务

• 娱乐

• 制造业

• 保险业

零售企业运用 AI 存储处理销售交易、客户互动、社交媒体及物联网 (IoT) 设备产生的大规模数据与元数据。这一过程支持实现实时库存优化、个性化推荐及需求预测功能。

在医疗保健领域，AI 存储通过处理海量基因组数据集、医学影像文件及电子健康记录，加速药物研发并支持临床决策辅助系统（例如英伟达 BioNeMo、IBM® watsonx 平台）。

银行及其他金融机构依赖可扩展的 AI 存储来管理交易产生的大规模数据。这使得机器学习算法能够实时检测数百万笔交易中的模式与异常，为欺诈检测和个性化银行服务提供支持。

Netflix 和 Amazon 等流媒体服务商运用 AI 数据存储大规模处理观看历史数据，实现能提供个性化内容的实时推荐引擎。

AI 存储为工厂车间传感器与设备提供数据管理。这种基础设施支持预测性维护、优化供应链并实现实时质量控制自动化。

AI 存储通过快速访问文档、图片及非结构化数据，支持自动化承保与理赔处理。这种方式使得自然语言处理 (NLP) 与图像识别模型能够加速风险评估并缩短理赔周期。