下面的文章尤音乐大师技术联盟主任Domino数据实验室。

MathWorks和Domino目前正在扩展他们的协作与NVIDIA的舰队司令部集成。这个扩展协作使无缝部署工作流边缘设备和操作的人工智能模型。在这篇文章中,我们将简要介绍如何结合cross-technology特性来部署一个深度学习模型在MATLAB操作训练增强边缘的设备。

加入我们的在线下周(3月20)GTC 2023看到我们的优势在行动和人工智能演示更多先进的技术行业专家。演示将在会话中S52424:部署一个深度学习模型从云到边缘。

边缘的人工智能是什么?

数据科学、机器学习和人工智能已经成为不可或缺的科学和工程研究。推动创新,公司已投入大量资源数据收集、聚合、转换和工程。数据量达到临界质量在许多组织中,预期增加演示数据的价值。艾未未显然已经证明了它的价值,尤其是当AI在云中运行或数据中心。人工智能的一个非常重要的下一阶段是模型部署和操作“边缘”。

区分边缘和其他类型的部署执行位置。的核心概念边缘人工智能是将工作负载(即使用人工智能推理模型),收集数据或模型输出的消耗。在边缘AI,运行工作负载的服务器将坐落在工厂生产线,百货商店地板,或风力农场。许多这样的用例需要的答案以毫秒为单位,而不是秒。此外,网络连接可能有限,数据量大,数据保密。

边缘AI的一大优点是模型推断发生在非常靠近数据收集物理站点。这减少了处理延时数据没有在公共互联网旅游。此外,数据隐私和安全改进和数据传输、计算和存储成本降低。更好的是,许多障碍防止边缘视觉终于可以被克服。

图:部署人工智能模型的边缘设备

边缘AI为什么重要?

让我们假设我们运行一个非常大的发电提供者与成千上万的资产。人工智能技术在许多方面可以帮助,从预测维护自动化和优化。这些资产跨水电、核电、风能和太阳能设施。在每一个资产,有成千上万的状态监测传感器。每个位置可能需要多个服务器,配备了强大的硬件,如强大的CPU和GPU强大。

而足够的计算能力来支持AI现在现实的边缘,出现一些新的障碍:如何有效地管理金宝app和监督大规模服务器舰队有限的连接?你怎么AI模型更新部署到硬件无需给身体倾向于硬件团队吗?如何确保新模式可以运行在多种硬件和软件配置?如何确保满足所有模型依赖性?我们将向您展示GTC的工作流将演示如何开始解决这些障碍。

英伟达舰队的命令是什么?

解决的挑战将模型边缘,NVIDIA舰队发射命令。英伟达舰队司令部是一个基于云的工具来管理和部署人工智能应用程序在边缘设备。这简化了模型更新,推出集中化设备配置管理,以及个人系统健康监控。

三年多来,Domino数据实验室和MathWorks合作服务和规模为联合研究和开发客户。MATLAB仿真软件可金宝app以运行在Domino MLOps平台,解锁获得强劲的企业计算和真正庞大的数据搜集。用户可以通过访问企业级NVIDIA gpu加速发现和并行计算集群。

在Domino, MATLAB用户可以放大其伟大的工具培训人工智能模型,将人工智能集成到系统设计和互操作性其他计算平台和技术。工程师可以通过共享数据与同行合作,自动批处理作业执行和api。

演示:AI模型部署到边缘

GTC,我们将演示一个完整的工作流模型创建的部署,并最终使用模型推理的优势。这个工作流协作和跨职能,桥接的工作数据科学家,工程师,和IT专业人员。

图:概述人工智能工作流,人工智能建模与MATLAB在Domino数据实验室,然后部署到边缘与NVIDIA舰队司令部

这里是工作流的关键步骤:

1. 工程师执行转移使用MATLAB学习。他们执行模型手术pretrained深学习模型和重新训练模型的新数据,他们可以访问云存储库使用Domino的无缝集成。他们还利用企业级NVIDIA gpu加速模型再培训。
2. 工程师使用MATLAB编译器SDK包深学习模型,然后使用Domino发布模型到一个NVIDIA舰队Command-compatible Kubernetes容器。
3. IT团队将容器加载到该公司的NVIDIA舰队司令部容器注册使用Domino API。
4. 一旦配置完成,舰队指挥部署基于x86的容器,增强工厂边缘服务器。然后模型需要的地方,用近乎即时推理。

请看下面的动画学习更详细的工作流程。学习更多,GTC加入我们!

动画图:完整的边缘AI工作流,人工智能建模与MATLAB在Domino数据实验室,然后部署到边缘与NVIDIA舰队司令部

结论

这个工作流展示了许多边缘成功的关键方面。MathWorks, NVIDIA和Domino使科学家和工程师合作加快发现和释放数据的力量。演示也展示了跨学科合作的力量和开放平台。Domino和MATLAB,企业可以提供合适的专家和他们的首选工具。工程师和数据科学家可以访问任何数据类型的任何规模和协作,无论它是存储。工作流提供了一个简单的、可重复的流程模型转换为生产优势,需要的地方。

我们期待您加入我们的在线会话GTC !记住,寻找会话S52424:部署一个深度学习模型从云到边缘。问题随时与我们联系yuval.zukerman@dominodatalab.com或domino@mathworks.com。