研究了边缘应用AI对数据存储的问题

如今，数据的生成速度远远超出了任何人的想象。过去，人类是数据生成的主要来源。现在，存在以多种方式和格式生成数据的图像设备，传感器，无人机，联网汽车，IoT设备和工业设备。但是，我们不应将数据与信息混淆-区分这两个术语至关重要。

 

当前，只有一小部分收集的数据有价值，足以被视为真实资产。拍摄成像设备。这里一分钟的相关活动很重要，而不是长时间的无关紧要的无关紧要的视频镜头。通过类推，“数据”是人们在挖掘“信息”的金块的矿场。将这些数据转化为有价值的信息的能力（如果需要的话，可以称为“挖掘”）称为“分析”。

 

 

由分析公司Statista编制的图1中的图表描述了过去十年中存储数据容量的惊人增长。它预测，到2020年，存储需求将超过42,000 EB。但是，大多数存储的数据（大多数估计表明至少有80％）仍处于完全非结构化的形式，这在将其用于分析目的时会遇到困难。估计只有5％的存储数据实际在分析中。如果我们可以用一种元数据来表示这种非结构化数据，该元数据可以在完成分析的情况下有效地描述它，那么可以分析大量数据。这显着增加了组织可以从其拥有的数据中产生的价值。

 

人工智能（AI）是一项将对现代社会的各个方面产生重大影响的技术。这包括电子商务建议，自然语言翻译，金融科技，安全性，对象识别/检测等领域，甚至包括可以迅速查明威胁生命的癌细胞（或其他异常情况）的医学领域。尽管它们具有多样性，但所有这些用例都有一个共同的线索，因为我们现在拥有一种可以有效扫描大量非结构化数据（视频，文本，语音，图像等）并对其进行处理以实现真正价值的技术。可以得出。

 

具体而言，我们不仅可以将AI用于分析过程本身，还可以将AI用于预处理原始非结构化数据，以为其提供带标签的元数据，从而可以以一种简单而精确的方式表示它。该简化的数据库可以通过上层分析软件进行分析，并从中收集有用的信息。组织一直在等待AI从存储的数据中获取更多信息，直到这一阶段，人工智能一直处于“黑暗”状态。

 

好的，所以我们想生成元数据以使我们的分析软件更有效地运行，并且我们拥有AI作为从庞大的非结构化数据库中创建该元数据数据库的工具。现在，我们只需要将这些海量数据带到我们的AI计算实体即可完成工作。但是，等等，这是正确的方法吗？真的吗？

 

如果我们看一下当今生成和存储数据的两个主要地方，即云和边缘，那么很快就会发现，移动大量数据非常昂贵，应该避免。在云中，通过数据中心路由所有这些数据将给组成的网络基础架构带来压力，消耗大量电能，并增加延迟级别（从而增加总体处理时间）。相反，在边缘，可用的计算和功能资源有限。那里的小型设备有限的网络功能将使将大量数据上传到云进行处理是不切实际的。在这两种情况下，最大限度地减少我们移动的数据量，转而依赖元数据是最大化运营效率的关键。

 

如果可以在源头（即数据位于存储设备本身内部的位置）完成元数据的分配，而不是四处移动数据，那将更加有效。固态驱动器（SSD）已经包括用作计算实体所需的基本元素。这些通常仅用于驱动器操作，但是可以将它们重新用于执行与功能有关的任务，并负责此标记工作，或者通过集成的硬件/软件/固件模块进行补充以承担此类功能。一种操作模式可能是使用驱动器的空闲窗口来执行后台映射任务。一种不同的方法可能是在将数据写入驱动器时对其进行处理。这两种操作模式各有其优缺点，并且可能适用于不同的用例。

 

例如，在将数据写入驱动器时对其进行分析可能对生成警报非常有用。如果您考虑使用监视系统，那么这种能够在存储时扫描数据的逻辑可以补充摄像机能够生成（例如运动）并进一步识别重要事件（例如可疑行为）的警报。或人员）并建议安全控制。同时，就“数据接触”而言，这将是最有效的方法，因为这意味着数据进入后仅需接触和处理一次。

 

但是，在许多情况下，这也意味着要使用更强大的CPU和AI引擎，以便在可能是高分辨率视频的流上提供实时结果。在像SSD那样对成本和功耗非常敏感的环境中，这可能会成为一个问题。同时，当系统对驱动器进行读写操作时，这种在线分析将与其他与驱动器相关的操作竞争，因为这两个功能都可能争夺驱动器的相同计算和内存资源。

 

为了更好地控制AI处理能力与SSD的成本/功耗/区域限制之间的权衡，可能值得考虑使用离线处理方法。使用这种方法可以使我们与所需的AI资源的多余功率和面积交换处理速度（一个度量标准示例可以是TOPS / Watt / mm2）。因此，我们可以选择使用较小的，性能较差的AI推理引擎来延长扫描数据所需的时间，并最大程度地降低总体功耗，或者选择相反的方法。该方法还可以消除与驱动器之间的其他读/写操作的冲突，因为它可能仅在驱动器的识别的空闲时间完成。

 

它支持的另一件事是，一旦可用，就可以根据新模型对数据进行重新处理。例如，如果使用能够识别动物的模型对数据进行了一次扫描，则以后可以使用能够识别对象的新继承模型对数据进行重新扫描，并相应地更新元数据数据库。

 

在这两种使用模式中，节电和节省成本，以及最小化数据移动和显着减少延迟，再加上较低的总体网络流量，仅是在存储点部署这种加速（如果应用）所能获得的部分好处。正确的用例。这种方法固有的可扩展性将意味着企业和云服务提供商可以通过利用AI的力量来扩展其功能范围。

 

数据与主机之间的距离越远，这种架构的潜力就越大，并且利用多个驱动器可以完成更多的并行性。下图说明了该架构在延迟（完成视频数据库的完整扫描和标记所需的总时间），功耗和网络利用率方面的潜力。它显示了一个全闪存阵列盒与一个普通服务器处理器之间的比较，该阵列盒由24个固态硬盘组成，每个固态硬盘内部具有AI推理引擎。在这两种情况下，计算资源都会从每个SSD中获取视频文件库，并使用AI预训练模型对它们进行分析以查看特定对象的外观，并将其标记为元数据数据库。

 

 

图2在分析数据时，存储中处理降低了网络利用率。

 

从图2中可以看出，由于所有计算都是在本地完成的，并且不会超出驱动器的边界，因此存储中处理降低了网络利用率。图3显示存储中处理还可以缩短等待时间，因为该处理在所有驱动器上并行进行，并且没有数据路由。其他好处包括更低的功耗，当然还有更低的主机利用率，这使主机可以执行其他任务。尽管这些结果高度依赖于特定的引擎功能，视频文件类型，网络延迟和其他次要因素，并且在其他设置上可能会有所不同，但结果趋势可能会保持下去。

 

 

 

图3存储中处理减少了由于并行性引起的等待时间。

 

这种方法的另一个重要优点是它实现了线性可伸缩性。随着数据库的增长以及需要添加更多SSD来容纳更多数据的需求，我们同时添加了在感兴趣的上下文中处理它所需的“精确”计算量，因此性能与数据库之间的关系尺寸图保持线性。在主机处理器上执行相同的操作，有时会基于处理器的强大程度，最终得到一个图表，该图表在处理器周期用尽时已趋于平坦。

 

 

 

图4可伸缩性是使用AI进行存储内计算的另一个好处。

 

在8月于圣塔克拉拉（Santa Clara）举行的闪存峰会上，Marvell揭开了AI SSD控制器概念验证（PoC）的角色，说明了如何有效执行数据标记而无需访问主机CPU处理资源-避免了成本和延迟已概述的问题。向与会者展示了如何与开源NVIDIA深度学习加速器（NVDLA）技术一起使用现成的Marvell数据中心和客户端SSD控制器IC。可以继承经过培训的AI模型，将其编译到集成的AI推理IP上，并扫描驱动器本地存储的大型非结构化数据数据库（例如，视频库）。由此，可以生成标签，并且创建元数据数据库以方便地在搜索的上下文中表示数据。上面显示的结果基于作为此PoC一部分开发的演示Marvell。

 

如果目标是检测和识别对象或场景，则AI推理引擎可以扫描存储在驱动器上的视频文件，并创建元数据来列出它们出现在视频中的时间。得益于这项新的AI增强存储技术，元数据数据库可以本地存储在SSD上，并可供分析软件根据需要进行检查。

 

以一家执法机构为例，该机构在无数小时的视频文件中寻找可疑的“东西”。他们可以加载经过训练的模型，该模型确切地知道如何识别这种“事物”，并作为对存储它的所有驱动器的后台任务，并行地对所有可用视频内容进行推理。这种“事物”的任何外观都会被标记和标记，这使得以后进行进一步分析变得非常容易。

 

同样，请考虑这种体系结构对诸如后台聊天机器人分析之类的工具可能有多有效，在后台聊天机器人呼叫中有一个大型数据库，需要对其进行扫描以提高服务质量。可以评估用户何时对收到的回复感到满意/烦恼，或者通话时间是否太长/太短。一旦创建了知道如何跟踪这些指标的AI模型，就可以将它们编译到AI存储推理引擎中，并离线扫描调用。对于诸如视频点播（VOD）服务的个性化广告插入，人员或对象搜索之类的事情，以及利用接近数据的各种其他IO密集型用例，也可以获得主要的性能优势。

 

AI SSD控制器技术演示了如何实现新的数据存储架构，以处理不断涌现的，具有计算挑战性的“大数据”相关应用程序，而无需昂贵的定制IC。通过为市场上已经可用的SSD硬件提供使其更智能的附加逻辑的访问权限，可以直接处理对于下一代分析工作负载至关重要的元数据和标签。无需连接到专用的处理资源。

 

遵循这种替代策略，依靠常规的集中处理将使整个过程效率更高。它几乎占用了最小的可用网络带宽，并防止了瓶颈的发生。通过将AI加速器直接集成到具有成本效益的SSD控制器IC中，可以快速完成分析任务。它还将需要更少的处理能力，并消耗更少的可用功率预算，同时完全避免从头开发复杂的ASIC的需求。由于使用了可编程的体系结构，因此也将提供足够的更新更新所采用的AI模型的方法，以便在新的用例开发时就可以对其进行处理。

 

Noam Mizrahi是Marvell研究员，也是Marvell CTO办公室技术与建筑副总裁。