Ram Cherukuri,Mathworks
在此视频中,我们展示了Matlab中的深度学习量化工作流程。使用模型量化库支持包,我们说明了如何校准,量化和验证resnet50等深度金宝app学习网络。我们还突出了量化对减少一些标准网络的存储器的影响,例如Resnet101和Inceptionv3。
深度学习量化是一种关键优化策略,可实现深度学习网络,特别是在嵌入式平台上。
Mathworks和Mathworks的高级产品经理Ram Cherukuri我将在Matlab上概述Matlab中的深度学习量化工作流程。
量化权重,偏置和激活,如INT8或FP16等精度数据类型显着降低了AI算法的存储空间,并且可以导致嵌入式硬件上的推理性能提高。
您可以使用模型量化库支持包来量化Matlab中的深度学习网络。金宝app您可以从附加资源管理器下载它,如此稿所示。
量化工作流利用仪器,基于校准数据存储来计算用于量化网络层的权重,偏置和激活的仪器统计信息。
最后,验证步骤计算精度度量来分析和理解量化对网络精度的影响。让我们以Resnet50为例来介绍这个工作流程。
这是深度学习量化器应用程序,在这里您首先从MATLAB工作区导入网络,您将看到网络结构显示在左侧窗格。
接下来,选择要用于校准的数据存储,应用程序将显示计算出的统计数据,如权重的最小值和最大值、偏差和每个层的激活值。您还可以选择可以量化的层,然后使用验证数据存储验证量化的影响。
在此示例中,我们使用了默认的前1个精度度量,并且您可以看到内存减少67%,没有准确度。然后,您可以继续从量化网络生成代码进行部署。
我们用一些网络重复了这个工作流,只量化计算密集型的CONCL层到INT8。
您可以在这里的图表中看到量化的影响。例如,最大的网络Resnet101有180mb的内存,它的压缩率为72%,准确率下降了2%。另一方面,ceptionv3的精度下降幅度最大,为4%,压缩67%,内存从100 MB下降到33 MB。
这突出了量化对深度学习网络的有效部署的重大影响。
请参阅视频下方的资源,以了解如何在MATLAB中启动和探索这些新功能。
您还可以从以下列表中选择一个网站:
选择中国网站(以中文或英文)以获取最佳网站性能。其他MathWorks国家网站未优化您的位置。