选择“文件格式”或“应用程序”的数据存储
数据存储是存储大到无法装入内存的数据集合的存储库。每种文件格式和应用程序都使用不同类型的数据存储,其中包含与其所支持的数据或应用程序类型相关的属性。金宝appMATLAB®提供标准文件格式(如Excel)的数据存储®文件和数据存储为特定的应用程序,如深度学习。除了现有的数据存储之外,如果您的数据是私有格式的,那么您可以使用自定义数据存储框架开发一个自定义数据存储。
用于标准文件格式的数据存储
对于标准文件格式的数据集合,请使用以下选项之一。
数据存储 | 描述 |
---|---|
TabularTextDatastore |
包含面向列数据的文本文件,包括CSV文件 |
SpreadsheetDatastore |
支持Excel格式的电子表格文件,例如金宝app |
ImageDatastore |
图像文件,包括支持的格式金宝app |
ParquetDatastore |
包含面向列数据的拼花文件 |
FileDatastore |
非标准文件格式的文件 需要自定义文件读取函数 |
转换或组合现有数据存储。
数据存储 | 描述 |
---|---|
CombinedDatastore |
用于组合从多个底层数据存储读取的数据 |
TransformedDatastore |
用于转换底层数据存储的数据存储 |
与MapReduce和tall阵列集成的数据存储。
数据存储 | 描述 |
---|---|
KeyValueDatastore |
的输入或输出的键值对数据 |
TallDatastore |
用于检查点的数据存储 |
特定应用程序的数据存储
根据您的应用程序使用这些数据存储之一。
应用程序 | 数据存储 | 描述 | 工具箱需要 |
---|---|---|---|
金宝appSimulink模型数据 |
SimulationDatastore (金宝app模型) |
用于与Simulink一起使用的模拟输入和输出数据的数据存储金宝app®模型 |
金宝app |
模拟集成和预测性维护数据 |
simulationEnsembleDatastore (预测性维护工具箱) |
用于管理模拟集成数据的数据存储 |
预测性维护工具箱™ |
fileEnsembleDatastore (预测性维护工具箱) |
以自定义文件格式管理集成数据的数据存储 |
预测性维护工具箱 |
|
测量数据格式(MDF)文件 |
mdfDatastore (车辆网络工具箱) |
用于收集MDF文件的数据存储 |
车辆网络工具箱™ |
mdfDatastore (动力总成Blockset) |
用于收集MDF文件的数据存储 |
动力总成Blockset™ |
|
深度学习 用于预处理图像或序列数据的数据存储 |
pixelLabelDatastore (计算机视觉工具箱) |
像素标签数据的数据存储 |
计算机视觉工具箱™和深度学习工具箱™ |
pixelLabelImageDatastore (计算机视觉工具箱) |
用于训练语义分割网络的数据存储 数据存储是不确定的 |
计算机视觉工具箱和深度学习工具箱 |
|
boxLabelDatastore (计算机视觉工具箱) |
边界框标签数据的数据存储 |
计算机视觉工具箱和深度学习工具箱 |
|
signalDatastore (信号处理工具箱) |
用于收集信号文件的数据存储 | 信号处理工具箱™和深度学习工具箱 |
|
randomPatchExtractionDatastore (图像处理工具箱) |
用于从图像或像素标签图像中提取随机补丁的数据存储 数据存储是不确定的 |
图像处理工具箱™和深度学习工具箱 |
|
denoisingImageDatastore (图像处理工具箱) |
数据存储训练图像去噪深度神经网络 数据存储是不确定的 |
图像处理工具箱和深度学习工具箱 |
|
augmentedImageDatastore (深度学习工具箱) |
用于调整大小和增强训练图像的数据存储 数据存储是不确定的 |
深度学习工具箱 |
|
音频数据 | audioDatastore (音频工具箱) |
用于收集音频文件的数据存储 |
音频工具箱™ |
内存不足的图像数据 | blockedImageDatastore (图像处理工具箱) |
用于管理单个图像块的数据存储,这些块太大,无法装入内存 | 图像处理工具箱 |
数据库数据 | databaseDatastore (数据库工具箱) |
关系数据库中数据集合的数据存储 |
数据库工具箱™ |
自定义文件格式
对于自定义文件格式的数据集合,如果每个单独的文件都适合内存,则使用FileDatastore
以及您的自定义文件读取功能。方法为自定义数据或专有数据开发自己的完全自定义数据存储matlab.io.Datastore
类。看到开发自定义数据存储.
不确定性数据存储
对象的调用不返回完全相同的数据的数据存储读
函数调用重置
函数是不确定的数据存储。不使用非确定性数据存储与高
数组,mapreduce
,或需要多次读取数据的任何其他代码。
有些应用程序需要随机增强或转换的数据。例如,augmentedImageDatastore
(深度学习工具箱)来自深度学习应用程序的数据存储通过随机预处理操作来增强训练图像数据,以帮助防止网络过度拟合和记忆训练图像的确切细节。每次执行时,此数据存储的输出都是不同的读
操作完成后调用重置
.
另请参阅
TabularTextDatastore
|SpreadsheetDatastore
|ImageDatastore
|FileDatastore
|TallDatastore
|高