主要内容

数据存储

读取大量数据

的数据存储函数创建一个数据存储，这是一个存储库，用于存放太大而无法装入内存的数据集合。数据存储允许您将存储在磁盘、远程位置或数据库上的多个文件中的数据作为单个实体读取和处理。如果数据太大，无法装入内存，可以管理数据的增量导入，创建一个高数组要使用数据，或使用数据存储作为输入Mapreduce.进行进一步处理。有关更多信息，请参见使用数据存储入门．

功能

全部展开

数据存储 为大型数据集合创建数据存储
tabulartextdatastore. 表格文本文件的数据存储
spreadsheetDatastore 电子表格文件的数据存储
imageageAtastore. 图像数据的数据存储
parquetDatastore 用于收集拼花文件的数据存储
fileDatastore 带有自定义文件读取器的数据存储
ArrayDataStore. 内存数据的数据存储
读 在数据存储区中读取数据
readall 读取数据存储中的所有数据
预览 预览数据存储中的数据子集
hasdata 确定数据是否可用来读取
重置 将数据存储重置为初始状态
writeall 将数据存储写入文件
洗牌 洗牌数据存储中的所有数据
isShuffleable 确定数据存储是否可打乱
numpartitions 数据存储分区数
分区 分区数据存储
isPartitionable 确定数据存储是否已分配

功能

结合 组合来自多个数据存储的数据
转换 变换数据存储

对象

CombinedDatastore 数据存储组合从多个底层数据存储读取的数据
变换adatastore. 转换底层数据存储的数据存储
KeyValuedAtastore. 用于键值对数据的数据存储区Mapreduce.
TallDatastore 数据存储区检查点高数组

类

全部展开

matlab.io.datastore. 基础数据存储类
matlab.io.datastore.Partitionable 向数据存储区添加并行化支持金宝app
matlab.io.datastore.HadoopLocationBased 添加Hadoop金宝app支持数据存储
matlab.io.datastore.shufflable. 为数据存储添加shuffle金宝app支持
matlab.io.datastore.DsFileSet 用于收集数据存储中的文件的文件集对象
matlab.io.datastore.DsFileReader 数据存储中文件的文件读取器对象
matlab.io.datastore.FileWritable 向数据存储添加文件写入支持金宝app
matlab.io.datastore.FoldersPropertyProvider 将文件夹属性支持添加到数据存储中金宝app
matlab.io.datastore.fileset. 文件集用于收集数据存储中的文件
matlab.io.datastore.BlockedFileSet 块文件集用于收集文件中的块

主题

使用数据存储入门

数据存储是用于读取单个文件或文件或数据集合的对象。

选择“文件格式”或“应用程序”的“数据存储”

根据数据或应用程序的文件格式选择正确的数据存储。

阅读和分析大型表格文本文件

这个示例展示了如何为包含表格数据的大型文本文件创建数据存储，然后一次一个块或一次一个文件读取和处理数据。

读取和分析图像文件

这个示例展示了如何为图像集合创建一个数据存储，读取图像文件，并找到具有最大平均色调、饱和度和亮度(HSV)的图像。

读取和分析mat文件与键值数据

的输出为mat文件中的键-值对数据创建数据存储Mapreduce.．

读取和分析Hadoop序列文件

此示例显示如何创建包含密钥值数据的序列文件的数据存储。

使用远程数据

使用Amazon S3™，Azure中的远程数据®Blob存储，或HDFS™。

为不同机器或集群上的处理设置数据存储

在您的机器上设置一个可以在另一台机器或集群上加载和处理的数据存储。

开发自定义数据存储

为您的自定义或专有数据创建完全自定义的数据存储。

开发DICOM数据的自定义数据存储

这个例子展示了如何开发一个支持写操作的自定义数据存储。金宝app

定制数据存储测试指南

在实现您的自定义数据存储之后，请遵循此测试过程来限定您的自定义数据存储。

相关信息

MATLAB的文档

金宝app

与Matlab引入深度学习

与Matlab引入深度学习

下载电子书