以下文章来自尤音乐大师Domino数据实验室的技术联盟主任。

MathWorks和Domino现在正在扩展他们的合作，以集成NVIDIA的舰队司令部。这种扩展的协作实现了在边缘设备上获取和操作AI模型的无缝部署工作流。在这篇博文中，我们将简要地向您展示如何结合跨技术特征，部署在MATLAB中训练的深度学习模型，用于gpu驱动的边缘设备上的操作。

下周(3月20-23日)加入我们GTC 2023观看我们的Edge AI演示，以及来自行业专家的更多最先进的技术。演示将在会议中展示S52424:从云端到边缘部署深度学习模型．

什么是Edge AI?

数据科学、机器学习和人工智能已经成为科学和工程研究不可或缺的一部分。为了推动创新，公司在数据收集、聚合、转换和工程方面投入了大量资源。随着许多组织的数据量达到临界质量，人们对展示数据价值的期望越来越高。人工智能已经清楚地展示了它的价值，尤其是在云和数据中心上运行人工智能时。人工智能下一个非常重要的阶段是模型部署和“边缘”操作。

Edge与其他类型部署的区别在于执行位置。的核心概念边缘人工智能是将工作负载(即使用AI模型进行推理)移动到收集数据的地方或使用模型输出的地方。在Edge AI中，运行工作负载的服务器将位于工厂生产线、百货商店楼层或风电场。许多这样的用例要求以毫秒为单位回答，而不是以秒为单位。此外，互联网连接可能有限，数据量大，数据机密。

Edge AI的一个巨大优势是，模型推理发生在距离数据收集点非常近的物理位置。这减少了处理延迟，因为数据不必在公共互联网上传输。此外，数据隐私和安全性得到提高，数据传输、计算和存储成本降低。更好的是，许多阻碍Edge愿景的障碍最终都能被克服。

图:AI模型部署到边缘设备

为什么Edge AI很重要?

假设我们经营着一家拥有数千项资产的大型发电供应商。人工智能技术可以在许多方面提供帮助，从预测性维护到自动化和优化。这些资产涵盖水电、核能、风能和太阳能设施。在每个资产中，都有数千个状态监测传感器。每个位置都可能需要几个服务器，配备强大的硬件，比如强大的CPU和强大的GPU。

虽然现在已经有足够的计算能力来支持Edge AI，但也出现了几个新的障碍:金宝app如何在连接有限的情况下有效地管理和监督庞大的服务器群?你如何将AI模型更新部署到硬件上，而不需要派一个团队去物理上处理硬件?您如何确保一个新模型可以跨多种硬件和软件配置运行?如何确保满足所有模型依赖关系?我们将在GTC向您展示的工作流程将演示我们如何开始解决这些障碍。

什么是NVIDIA舰队司令部?

为了应对将模型带到边缘的挑战，NVIDIA推出了Fleet Command。英伟达舰队司令部是一个基于云的工具，用于跨边缘设备管理和部署AI应用程序。它简化了模型更新的推出，集中了设备配置管理，并监视单个系统的运行状况。

三年多来，Domino Data Lab和MathWorks是合作伙伴为联合客户服务并扩大研发规模。MATLAB和Simu金宝applink可以在Domino的MLOps平台上运行，从而可以访问健壮的企业计算和真正庞大的数据宝库。用户可以通过访问企业级NVIDIA gpu和并行计算集群来加快发现速度。

有了Domino, MATLAB用户可以放大它训练AI模型的强大工具，将AI集成到系统设计中，以及与其他计算平台和技术。工程师可以通过共享数据、自动批处理作业执行和api与同行协作。

演示:将AI模型部署到边缘

在GTC，我们将演示从模型创建到边缘部署的完整工作流程，并最终使用模型进行边缘推理。这个工作流是协作的、跨职能的，连接了数据科学家、工程师和IT专业人员的工作。

图:边缘AI工作流程概述，在Domino数据实验室中使用MATLAB进行AI建模，然后使用NVIDIA舰队司令部部署到边缘

以下是工作流程的关键步骤:

1. 工程师使用MATLAB进行迁移学习。他们在模特身上做手术预训练深度学习模型并在新数据上重新训练模型，他们可以使用Domino与云存储库的无缝集成来访问这些数据。他们还利用企业级NVIDIA gpu加速模型再训练。
2. 工程师使用MATLAB编译器SDK打包深度学习模型，然后使用Domino将模型发布到NVIDIA Fleet command兼容的Kubernetes容器中。
3. IT团队使用Domino API将容器加载到公司的NVIDIA Fleet Command容器注册表中。
4. 配置完成后，Fleet Command将容器部署到基于x86的、gpu驱动的工厂底层边缘服务器。然后，该模型可以在需要的地方使用，具有近乎瞬时的推理。

观看下面的动画以了解有关工作流的更多细节。想要了解更多，请加入GTC!

动画图:完成边缘AI工作流程，在Domino数据实验室中使用MATLAB进行AI建模，然后通过NVIDIA舰队司令部部署到边缘

结论

这个工作流展示了边缘成功的许多关键方面。MathWorks、NVIDIA和Domino合作，使科学家和工程师能够加快发现的步伐，并释放数据的力量。演示还展示了跨学科合作和平台开放性的力量。使用Domino和MATLAB，企业可以为合适的专家提供他们首选的工具。工程师和数据科学家可以访问任何规模的任何数据类型并进行协作，无论数据存储在何处。工作流提供了一个直接的、可重复的过程，以便在需要的边缘将模型投入生产。

我们期待您在线加入我们的GTC会议!记住，寻找会话S52424:从云端到边缘部署深度学习模型．有任何问题请随时联系我们yuval.zukerman@dominodatalab.com或domino@mathworks.com．