Ram Cherukuri,Mathworks
在此视频中,我们展示了Matlab中的深度学习量化工作流程。使用模型量化库支持包,我们说明了如何校准,量化和验证resnet50等深度金宝app学习网络。我们还突出了量化对减少一些标准网络的存储器的影响,例如Resnet101和Inceptionv3。
深度学习量化是一种关键优化策略,可实现深度学习网络,特别是在嵌入式平台上。
Mathworks和Mathworks的高级产品经理Ram Cherukuri我将在Matlab上概述Matlab中的深度学习量化工作流程。
量化权重,偏置和激活,如INT8或FP16等精度数据类型显着降低了AI算法的存储空间,并且可以导致嵌入式硬件上的推理性能提高。
您可以使用模型量化库支持包来量化Matlab中的深度学习网络。金宝app您可以从附加资源管理器下载它,如此稿所示。
量化工作流利用仪器,基于校准数据存储来计算用于量化网络层的权重,偏置和激活的仪器统计信息。
最后,验证步骤计算准确性度量来分析和理解量化对网络精度的影响。让我们将resnet50作为一个示例网络来完成此工作流程。
这是深度学习量化器应用程序,您首先将网络从MATLAB工作区导入,您将看到左侧窗格上显示的网络结构。
接下来,您可以选择要用于校准的数据存储,并且应用程序将显示计算的统计信息,例如每层的重量,偏置和激活的MIN和MAX值。您还可以选择您可以量化的图层,然后使用验证数据存储验证量化的影响。
在此示例中,我们使用了默认的前1个精度度量,并且您可以看到内存减少67%,没有准确度。然后,您可以继续从量化网络生成代码进行部署。
我们用一些网络重复了这个工作流,只量化计算密集型的CONCL层到INT8。
您可以在此处查看图表中量化的影响。例如,这里最大的网络与内存中的180 MB,ResET101,可精确地看到72%的压缩,精度下降2%。另一方面,Inceptionv3的精度为4%,压缩67%,记忆中的100 MB至33 MB。
这突出了量化对深度学习网络的有效部署的重大影响。
请参阅视频下方的资源,以了解如何在MATLAB中启动和探索这些新功能。
您还可以从以下列表中选择一个网站:
选择中国网站(以中文或英文)以获取最佳网站性能。其他MathWorks国家网站未优化您的位置。