Ram Cherukuri MathWorks
在这个视频中,我们演示了MATLAB中的深度学习量化工作流。使用模型量化库支持包,我们演示了如何校准、量化和验证深度学习网络,如Res金宝appnet50。我们还强调了量化对减少一些标准网络(如Resnet101和InceptionV3)内存的影响。
深度学习量化是深度学习网络有效部署的关键优化策略,特别是在嵌入式平台上。
我是Ram Cherukuri, MathWorks的高级产品经理,在这个视频中,我将给你一个MATLAB中的深度学习量化工作流的概述。
将权重、偏差和激活量化到INT8或FP16等精度较低的数据类型,可以显著减少AI算法的内存占用,并可以提高嵌入式硬件上的推理性能。
你可以使用模型量化库支持包在MATLAB中量化你的深度学习网络。金宝app您可以从Add-On Explorer下载它,如下所示。
量化工作流利用基于校准数据存储的检测来计算用于量化网络层的权重、偏差和激活的检测统计信息。
最后,验证步骤计算准确性度量来分析和理解量化对网络精度的影响。让我们将resnet50作为一个示例网络来完成此工作流程。
这是深度学习量化器应用程序,您首先将网络从MATLAB工作区导入,您将看到左侧窗格上显示的网络结构。
接下来,您可以选择要用于校准的数据存储,并且应用程序将显示计算的统计信息,例如每层的重量,偏置和激活的MIN和MAX值。您还可以选择您可以量化的图层,然后使用验证数据存储验证量化的影响。
在本例中,我们使用了默认的前1精度度量,您可以看到内存减少了67%,但精度没有下降。然后,您可以继续从量化网络生成用于部署的代码。
我们对几个网络重复了这个工作流程,只是将计算密集型的conv层量化到INT8。
您可以在此处查看图表中量化的影响。例如,这里最大的网络与内存中的180 MB,ResET101,可精确地看到72%的压缩,精度下降2%。另一方面,Inceptionv3的精度为4%,压缩67%,记忆中的100 MB至33 MB。
这突出了量化对深度学习网络有效部署的重要影响。
请参考视频下面的资源,学习如何开始并探索MATLAB中的这些新功能。
你也可以从以下列表中选择一个网站:
请选择表现最佳的中国网站(中文或英文)。MathWorks的其他国家网站并没有针对您所在位置的访问进行优化。