Ram Cherukuri MathWorks
在这个视频中,我们演示了MATLAB中的深度学习量化工作流。使用模型量化库支持包,我们将演示如何校准、量化和验证深度学习网络(如Res金宝appnet50)。我们还强调了量化对减少一些标准网络(如Resnet101和InceptionV3)的内存的影响。
深度学习量化是高效部署深度学习网络的关键优化策略,特别是在嵌入式平台上。
我是Ram Cherukuri, MathWorks的高级产品经理,在这个视频中,我将给你一个关于MATLAB中的深度学习量化工作流的概述。
量化权重、偏差和激活以降低精度数据类型(如INT8或FP16),可以显著减少人工智能算法的内存占用,并改善嵌入式硬件上的推理性能。
你可以在MATLAB中使用模型量化库支持包来量化你的深度学习网络。金宝app您可以从Add-On Explorer下载它,如下所示。
量化工作流利用基于校准数据存储的仪器来计算用于量化网络各层的权重、偏差和激活的仪器统计数据。
最后,验证步骤计算精度度量来分析和理解量化对网络精度的影响。让我们以Resnet50为例来完成这个工作流。
这是深度学习量化器应用程序,你首先从MATLAB工作空间导入网络,你会看到网络结构显示在左侧窗格。
接下来,选择您希望用于校准的数据存储,应用程序将显示计算出的统计数据,如权重、偏差和每一层的激活值的最小值和最大值。您还可以选择要量化的层,然后使用验证数据存储来验证量化的影响。
在本例中,我们使用了默认的top 1精度指标,您可以看到内存减少了67%,但精度没有下降。然后,您可以继续从量化网络生成用于部署的代码。
我们用一些网络重复这个工作流,只将计算密集型的转换层量化为INT8。
你可以在这里的图表中看到量化的影响。例如,这里最大的网络Resnet101的内存为180mb,其压缩率为72%,精度下降了2%。另一方面,InceptionV3的精度下降最大,为4%,压缩67%,内存从100 MB下降到33 MB。
这突出了量化对于高效部署深度学习网络的重大影响。
请参考视频下面的资源,学习如何开始并探索MATLAB中的这些新功能。
你也可以从以下列表中选择一个网站:
选择中国网站(中文或英文)以获得最佳网站性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。