主要内容

数据存储

阅读大量的数据集

数据存储函数创建一个数据存储,这是一个存储太大而无法放入内存的数据集合的存储库。数据存储允许您将存储在磁盘、远程位置或数据库中的多个文件中的数据作为单个实体进行读取和处理。如果数据太大而无法放入内存,您可以管理数据的增量导入,创建数组来处理数据,或者使用数据存储作为输入mapreduce进行进一步处理。有关更多信息,请参见开始使用数据存储

Funktionen

阿莱erweitern

数据存储 为大量数据创建数据存储
tabularTextDatastore 用于表格文本文件的数据存储
spreadsheetDatastore 用于电子表格文件的数据存储
imageDatastore 用于图像数据的数据存储
parquetDatastore 收集Parquet文件的数据存储
fileDatastore 带有自定义文件读取器的数据存储
arrayDatastore 用于内存中的数据的数据存储
读取数据存储中的数据
readall 读取数据存储中的所有数据
预览 预览数据存储中的数据子集
hasdata 确定是否可以读取数据
重置 将数据存储重置为初始状态
writeall 将数据存储写入文件
洗牌 洗牌数据存储中的所有数据
isShuffleable 确定数据存储是否可洗牌
numpartitions 数据存储分区数
分区 分区数据存储
isPartitionable 确定数据存储是否可分区

功能

结合 合并来自多个数据存储的数据
变换 变换数据存储

对象

CombinedDatastore 将从多个底层数据存储读取的数据合并在一起的数据存储
TransformedDatastore 转换底层数据存储的数据存储
KeyValueDatastore 用于使用的键值对数据的数据存储mapreduce
TallDatastore 数据存储的检查点数组

克拉森

阿莱erweitern

matlab.io.Datastore 基本数据存储类
matlab.io.datastore.Partitionable 为数据存储添加并行支持金宝app
matlab.io.datastore.HadoopLocationBased 添加Hadoop金宝app支持数据存储
matlab.io.datastore.Shuffleable 为数据存储添加变换支持金宝app
matlab.io.datastore.DsFileSet 用于数据存储中文件集合的文件集对象
matlab.io.datastore.DsFileReader 用于数据存储中文件的文件读取器对象
matlab.io.datastore.FileWritable 向数据存储添加文件写入支持金宝app
matlab.io.datastore.FoldersPropertyProvider 向数据存储添加文件夹属性支持金宝app
matlab.io.datastore.FileSet 用于数据存储中文件集合的文件集
matlab.io.datastore.BlockedFileSet 用于收集文件中的块的阻塞文件集

有能力

开始使用数据存储

数据存储是用于读取单个文件或文件或数据集合的对象。

“文件格式”或“应用程序”选择“数据存储”

根据数据或应用程序的文件格式选择正确的数据存储。

读取和分析大型表格文本文件

这个示例展示了如何为包含表格数据的大型文本文件创建数据存储,然后每次读取和处理一个块或一个文件的数据。

读取和分析图像文件

这个示例展示了如何为图像集合创建数据存储,读取图像文件,并查找具有最大平均色调、饱和度和亮度(HSV)的图像。

读取并分析带有键值数据的MAT-File

的输出的mat文件中,如何为键值对数据创建数据存储mapreduce

读取和分析Hadoop序列文件

这个示例展示了如何为包含键值数据的Sequence文件创建数据存储。

使用远程数据

在Amazon S3™和Azure中使用远程数据®Blob Storage或HDFS™。

设置数据存储,以便在不同的机器或集群上进行处理

在您的机器上设置一个可以在另一台机器或集群上加载和处理的数据存储。

开发自定义数据存储

为您的自定义或专有数据创建一个完全自定义的数据存储。

为DICOM数据开发自定义数据存储

这个例子展示了如何开发一个支持写操作的自定义数据存储。金宝app

自定义数据存储的测试指南

在实现自定义数据存储之后,按照此测试过程对自定义数据存储进行限定。