主要内容

coder.TensorRTConfig

参数配置深度学习的代码生成英伟达TensorRT图书馆

扩展所有的页面

描述

的coder.TensorRTConfig对象包含了英伟达®高性能深度学习推理优化器和运行时库(TensorRT)具体参数。codegen使用这些参数来生成CUDA®为深层神经网络代码。

使用一个coder.TensorRTConfig对象代码生成、分配它DeepLearningConfig财产的coder.gpuConfig对象传递给codegen。

创建

通过创建一个TensorRT配置对象coder.DeepLearningConfig函数库设置为目标“tensorrt”。

属性

全部展开

指定支持层的推理计算的精度。金宝app在32位浮点数进行推理时,使用“fp32”。对于half-precision,使用“fp16”。8位整数,使用“int8”。默认值是“fp32”。

INT8精度需要CUDA GPU与最低6.1的计算能力。6.2不支持的计算能力金宝appINT8精度。FP16精度需要CUDA GPU与最低7.0的计算能力。使用ComputeCapability财产的GpuConfig对象设置适当的计算能力值。

看到使用NVIDIA TensorRT深度学习的预测8位整数的例子使用TensorRT预测标志分类网络。

在校准使用的图像数据集的位置。默认值是”。这个选项只有当适用数据类型被设置为“int8”。

当您选择“INT8”选项,TensorRT™数字转换浮点数据int8。执行调整减少的校准数据。校准数据必须在指定的图像数据的位置DataPath公司。

数值指定批次的数量int8校准。软件使用的产品batchsize * NumCalibrationBatches选择一个随机图像的图像数据集的子集进行校准。的batchsize * NumCalibrationBatches值不能大于图像在图像数据集的数量。这个选项只有当适用数据类型被设置为“int8”。

英伟达建议约500图像满足校准。有关更多信息,请参阅TensorRT文档。

一个只读值指定目标库的名称。

例子

全部折叠

创建一个入口点函数resnet_predict使用coder.loadDeepLearningNetwork函数加载resnet50(深度学习工具箱)SeriesNetwork对象。

函数= resnet_predict(中)持续的mynet;如果isempty (mynet) mynet = coder.loadDeepLearningNetwork (“resnet50”,“myresnet”);结束=预测(mynet,);

创建一个coder.gpuConfig为墨西哥人代码生成配置对象。

cfg = coder.gpuConfig (墨西哥人的);

设置目标语言c++。

cfg。TargetLang =“c++”;

创建一个coder.TensorRTConfig深度学习配置对象。分配到DeepLearningConfig财产的cfg配置对象。

cfg。DeepLearningConfig = coder.DeepLearningConfig (“tensorrt”);

使用配置选择的codegen函数通过cfg配置对象。的codegen函数必须确定大小、阶级和MATLAB的复杂性®函数的输入。使用arg游戏选择指定的大小的入口点函数的输入。

codegenarg游戏{(224224 3,“单”)}配置cfgresnet_predict;

的codegen命令所有生成的文件的地方codegen文件夹中。该文件夹包含CUDA入口点函数的代码resnet_predict.cu,头文件和源文件包含的c++类定义复杂的神经网络(CNN),重量和偏见文件。

版本历史

介绍了R2018b

另请参阅

功能

对象

主题