图片缩略图

深度学习工具箱模型量化库

量化和压缩深度学习模型
4.3
7评级

12下载

更新2020年9月16日

深度学习工具箱模型量化库允许量化和压缩您的深度学习模型。它提供仪表服务,使您能够在校准步骤期间收集关于权重、激活和中间计算的层级数据。使用仪表数据,图书馆/插件使量化模型,它提供了指标量化网络的准确性进行验证。

库/附加组件使迭代工作流能够优化量化方法,以满足所需的准确性。它提供了选择正确量化策略的启发式方法。
您可以验证量化的网络,并将精度与单精度基线进行比较。

库/附加组件提供了一个量化应用程序,它允许您分析和可视化检测数据,以了解对选定层的权重和偏差进行量化的准确性的权衡。
库/插件支持INT8量化的NVIDIA金宝app gpu,支持层。

请参考文档://www.tatmou.com/help/deeplearning/ref/deepnetworkquantizer-app.html

此硬件支持包适用于R2020金宝appa及以上版本。神经网络的量化需要一个GPU和GPU编码器™接口的深度学习库支持包。金宝app

如果您有下载或安装问题,请联系技术支持-金宝appwww.tatmou.com/contact_ts

意见及评分(12)

MathWorks定点小组

解决无效的GPU执行环境错误:

神经网络的量化需要一个GPU, GPU Coder™接口的深度学习库支持包,以及深度学习工具箱™模型量化库支持包。金宝app
使用GPU需要CUDA®使英伟达®计算能力6.1或更高(6.2除外)的GPU。

如果您在满足上述依赖项的情况下仍然遇到“无效执行环境错误”,那么很可能是因为没有正确地设置cuDNN和TensorRT所需的环境。要检查,执行编码器。checkGPUInstall在命令窗口中。

解决无效cuDNN和TensorRT环境可以在Jaya的回答中找到://www.tatmou.com/matlabcentral/answers/508318-getting-error-for-nvidia-cudnn-with-matlab-2019b-in-windows-10#answer_420160

和往常一样,如果有任何其他问题,请联系技术支持-金宝appwww.tatmou.com/contact_ts

Ashwathi Nambiar

Ashwathi Nambiar

丹尼斯·纳瓦罗

安装支持包后,命令calResults = 金宝appcalibrate(quantObj, aug_calData)返回:

错误使用dlquantization.instrument
'executionEnvironment'的值无效。没有可用的GPU。dlquantizer要求GPU机器量化一个网络对象。
dlquantizer/校准中的错误(第25行)
结果= dlquantization.instrument (obj。NetworkObject p.Results。数据、obj.DLAccelData BatchSize, p.Results.batchSize, MiniBatchSize, p.Results.miniBatchSize, ExecutionEnvironment, obj.ExecutionEnvironment);

但我有GPU。
gpuDevice:

CUDADevice属性:

名称:“GeForce GTX 1080 Ti”
指数:1
ComputeCapability:“6.1”
金宝appSupportsDouble: 1
DriverVersion: 10.2000
ToolkitVersion: 10.1000
MaxThreadsPerBlock: 1024
MaxShmemPerBlock: 49152
MaxThreadBlockSize: [1024 1024 64]
MaxGridSize: [2.1475e+09 65535 65535]
SIMDWidth: 32
TotalMemory: 1.1811 e + 10
AvailableMemory: 9.9493 e + 09年
MultiprocessorCount: 28
ClockRateKHz: 1683000
ComputeMode:“违约”
GPUOverlapsTransfers: 1
KernelExecutionTimeout: 1
CanMapHostMemory: 1
Device金宝appSupported: 1
DeviceSelected: 1

布伦达

嗨,杨,
感谢您的反馈!根据您提供的错误消息,这是一个由不正确的函数调用报告的通用错误。如果没有复制步骤,就很难定位问题。
我们最近更新了文档。请参阅它是否提供任何参考:
//www.tatmou.com/help/deeplearning/ref/deepnetworkquantizer-app.html
同样的网络可以在Deep network Designer App中成功运行吗?
//www.tatmou.com/help/deeplearning/ref/deepnetworkdesigner-app.html
请联系我们的技术支持并报告这个问题。金宝app我们会直接跟进。

杨黎

我正在量化我自己的模型。网络模型来自onnx导入层。
我为培训创建了新的imd。和使用相同的imd进行校准。
当我校准时,它报告了一个错误。它提示“右侧元素为0时无法执行赋值”。

以上步骤是否有错误?
谢谢你!

金龟子鲁宾

文卡特桑Vaidehi

MathWorks定点小组

常见问题(2020年4月)
在我安装了支持包之后,运行命令dlquantize金宝appr(net)会在“code .internal. getsupportedlayertypes”中输出错误。
A:深度学习库量化函数需要一个GPU和GPU编码器接口://www.tatmou.com/matlabcentral/fileexchange/68642-gpu-coder-interface-for-deep-learning-libraries
成功安装这两个包将消除这些错误。

什么是INT8量子化?它是做什么用的?
答:关于这些概念的技术文章可以在这里找到://www.tatmou.com/company/newsletters/articles/what-is-int8-quantization-and-why-is-it-popular-for-deep-neural-networks.html

问:我如何从一个简单的例子开始?
答:你可以尝试量化挤压神经网络,在对网络进行再训练后,根据训练深度学习网络对新图像进行分类(//www.tatmou.com/help/deeplearning/ug/train-deep-learning-network-to-classify-new-images.html)的例子。网络所需的内存可以减少到大约75%,而网络的精度几乎相同。
输入>>帮助dlquantizer,并找到文档中的示例来开始。

问:我的网络对象似乎被支持。金宝app为什么?
请在这里留言,我们会联系你的。

内存

MATLAB版本兼容性
创建R2020a
兼容R2020a到R2020b
平台的兼容性
窗户 macOS Linux