主要内容

编码器。TensorRTConfig

参数来配置深度学习代码生成英伟达TensorRT图书馆

全部展开页面

描述

的编码器。TensorRTConfig对象包含了英伟达®高性能深度学习推理优化器和运行时库(TensorRT)特定参数。codegen使用这些参数来生成CUDA®深度神经网络代码。

使用一个编码器。TensorRTConfig对象，将其分配给DeepLearningConfig财产的coder.gpuConfig对象codegen．

创建

属性创建TensorRT配置对象编码器。DeepLearningConfig函数的目标库设置为“tensorrt”．

属性

全部展开

指定支持层推论计算的精度。金宝app在32位浮点数中执行推断时，使用“fp32”．对于half-precision,使用“fp16”．对于8位整数，使用“int8”．默认值是“fp32”．

INT8精度要求CUDA GPU最小计算能力为6.1。不支持6.2的计算能力金宝appINT8精度。FP16精度要求CUDA GPU的最低计算能力7.0。使用ComputeCapability财产的GpuConfig对象设置相应的计算能力值。

看到使用NVIDIA TensorRT进行深度学习预测例如，使用TensorRT进行标识分类网络的8位整数预测。

在重新校准期间使用的图像数据集的位置。默认值是＇＇．此选项仅适用于以下情况数据类型被设置为“int8”．

当你选择“INT8”选项，TensorRT™将浮点数据量化为int8．用减少的校准数据集进行重新校准。校准数据必须出现在指定的图像数据位置DataPath公司．

指定要处理的批数的数值int8校准。该软件使用的产品batchsize * NumCalibrationBatches从图像数据集中随机选取图像子集进行校准。的batchsize * NumCalibrationBatches值不能大于图像数据集中存在的图像数量。此选项仅适用于以下情况数据类型被设置为“int8”．

NVIDIA建议大约500张图片就足够进行校准了。有关更多信息，请参阅TensorRT文档。

指定目标库名称的只读值。

例子

全部折叠

创建一个入口点函数resnet_predict使用coder.loadDeepLearningNetwork函数来加载resnet50(深度学习工具箱)SeriesNetwork对象。

函数= resnet_predict(中)持续的mynet;如果isempty(mynet) mynet = code . loaddeeplearningnetwork (“resnet50”，“myresnet”)；结束=预测(mynet,);

创建一个coder.gpuConfig配置对象，用于生成MEX代码。

cfg = coder.gpuConfig (墨西哥人的)；

将目标语言设置为c++。

cfg。TargetLang =“c++”;

创建一个编码器。TensorRTConfig深度学习配置对象。把它赋给DeepLearningConfig财产的cfg配置对象。

cfg。DeepLearningConfig =编码器。DeepLearningConfig (“tensorrt”)；

使用配置选择的codegen函数传递cfg配置对象。的codegen函数必须确定MATLAB的大小、类和复杂性®函数的输入。使用arg游戏选项指定入口点函数的输入大小。

codegenarg游戏{(224224 3,“单”)}配置cfgresnet_predict;

的codegen命令将所有生成的文件放入codegen文件夹中。该文件夹包含入口点函数的CUDA代码resnet_predict.cu，头文件和源文件，其中包含用于卷积神经网络(CNN)的c++类定义，权重和偏差文件。

另请参阅

功能

对象

主题

介绍了R2018b

GPU编码器文档

金宝app

从MATLAB生成CUDA代码:gpu上加速嵌入式视觉和深度学习算法

从MATLAB生成CUDA代码:gpu上加速嵌入式视觉和深度学习算法

下载白皮书