主要内容

编码器。TensorRTConfig

参数来配置深度学习代码生成英伟达TensorRT图书馆

展开全部页面

描述

的编码器。TensorRTConfig对象包含NVIDIA®高性能深度学习推理优化器和运行时库(TensorRT)特定参数。codegen使用这些参数来生成CUDA®深度神经网络的代码。

使用编码器。TensorRTConfig对象进行代码生成时，将其赋给DeepLearningConfig的属性coder.gpuConfig传递给的对象codegen．

创建

属性创建TensorRT配置对象编码器。DeepLearningConfig函数，目标库设置为“tensorrt”．

属性

全部展开

指定支持层中推理计算的精度。金宝app在32位浮点数中执行推理时，使用“fp32”．对于半精度，使用“fp16”．对于8位整数，使用“int8”．默认值为“fp32”．

INT8精度要求CUDA GPU的最低计算能力为6.1。不支持6.2的计算能力金宝appINT8精度。FP16精度要求CUDA GPU最低计算能力为7.0。使用ComputeCapability的属性GpuConfig对象来设置适当的计算能力值。

看到基于NVIDIA TensorRT的深度学习预测例如，使用TensorRT对标识分类网络进行8位整数预测。

在重新校准期间使用的图像数据集的位置。默认值为＇＇．此选项仅适用于数据类型设置为“int8”．

当你选择“INT8”选项，TensorRT™量化浮点数据int8．用减少的校准数据集进行重新校准。所指定的图像数据位置必须显示校准数据DataPath公司．

数值，指定用于的批数量int8校准。软件采用的产品batchsize * NumCalibrationBatches从图像数据集中选取图像的随机子集以执行校准。的batchsize * NumCalibrationBatches值不能大于图像数据集中显示的图像数量。此选项仅适用于数据类型设置为“int8”．

NVIDIA建议大约500张图像就足够校准了。更多信息请参考TensorRT文档。

一个只读值，指定目标库的名称。

例子

全部折叠

创建一个入口点函数resnet_predict它使用coder.loadDeepLearningNetwork函数加载resnet50(深度学习工具箱)SeriesNetwork对象。

函数Out = resnet_predict(in)持续的mynet;如果mynet = code . loaddeeplearningnetwork (mynet)“resnet50”,“myresnet”）;结束Out = predict(mynet,in);

创建一个coder.gpuConfig用于生成MEX代码的配置对象。

cfg = code . gpuconfig (墨西哥人的）;

将目标语言设置为c++。

cfg。TargetLang =“c++”；

创建一个编码器。TensorRTConfig深度学习配置对象。将其分配给DeepLearningConfig的属性cfg配置对象。

cfg。DeepLearningConfig =编码器。DeepLearningConfig (“tensorrt”）;

使用配置选项codegen函数来传递cfg配置对象。的codegen函数必须确定MATLAB的大小、类和复杂度®函数的输入。使用arg游戏选项指定入口点函数的输入大小。

codegenarg游戏{(224224 3,“单”)}配置cfgresnet_predict；

的codegen命令将生成的所有文件放在codegen文件夹中。该文件夹包含入口点函数的CUDA代码resnet_predict.cu，头文件和源文件，包含卷积神经网络(CNN)的c++类定义，权重和偏差文件。

版本历史

在R2018b中引入

另请参阅

功能

对象

主题