主要内容

分区

分区数据存储

描述

例子

再分=分区(dsn指数分区数据存储ds所指定的零件数量n并返回索引对应的分区指数

例子

再分=分区(ds“文件”,指数按文件对数据存储进行分区,并返回索引文件对应的分区指数文件财产。

再分=分区(ds“文件”,文件名按文件对数据存储分区,并返回与指定文件对应的分区文件名

例子

全部折叠

为大型文件集合创建数据存储。对于本例,使用示例文件的10个副本airlinesmall.csv.若要处理表格数据中缺失的字段,请指定名称-值对TreatAsMissingMissingValue

文件= repmat ({“airlinesmall.csv”} 1 10);ds = tabularTextDatastore(文件,...“TreatAsMissing”“NA”“MissingValue”, 0);

将数据存储分区为三部分,并返回第一个分区。的分区函数返回来自数据存储的大约三分之一的数据ds

再分=分区(ds, - 3, - 1)
subds = TabularTextDatastore with properties: Files:{'…matlab\工具箱\matlab\demos\airlinesmall.csv';’……\ matlab \ matlab工具箱\ \ demo \ airlinesmall.csv”;’……\ matlab \ matlab工具箱\ \ demo \ airlinesmall.csv”……ReadVariableNames: true VariableNames: {'Year', 'Month', 'DayofMonth'…NumHeaderLines: 0 Delimiter: ',' RowDelimiter: '\r\n' TreatAsMissing: 'NA' MissingValue: 0高级文本格式属性:TextscanFormats: {'%f', '%f', '%f'…MultipleDelimitersAsOne: false属性,控制由preview, read, readall返回的表:SelectedVariableNames: {'Year', 'Month', 'DayofMonth'…和26}SelectedFormats: {% f ', ' % f ', ' % f '……and 26 more} ReadSize: 20000行

文件属性包含数据存储中包含的文件列表。检查文件数量在文件数据存储的属性ds以及分区的数据存储再分.数据存储ds包含十个文件和分区再分包含前四个文件。

长度(ds.Files)
ans = 10
长度(subds.Files)
ans = 4

从示例文件创建一个数据存储,mapredout.mat的输出文件mapreduce函数。

ds =数据存储(“mapredout.mat”);

获取默认的分区数ds

n = numpartitions (ds);

将数据存储分区为默认的分区数,并返回第一个分区对应的数据存储。

再分=分区(n, ds 1);

读取数据再分

Hasdata (subds) data = read(subds);结束

创建一个包含三个映像文件的数据存储。

ds = imageDatastore ({“street1.jpg”“peppers.png”“corn.tif”})
文件:{'…\matlab\工具箱\matlab\demos\street1.jpg';matlab’……\ \ matlab工具箱\ \ imagesci \ peppers.png”;`…\matlab\工具箱\matlab\imagesci\corn.tif'} ReadSize: 1 label: {} ReadFcn: @readDatastoreImage . txt

按文件对数据存储分区,并返回与第二个文件对应的部分。

再分=分区(ds,“文件”, 2)
subds = ImageDatastore with properties: Files:{'…\matlab\工具箱\matlab\imagesci\ pepins .png'} ReadSize: 1 label: {} ReadFcn: @readDatastoreImage .png

再分包含一个文件。

从示例文件创建一个数据存储,mapredout.mat的输出文件mapreduce函数。

ds =数据存储(“mapredout.mat”);

将数据存储划分为三个部分,在一个并行池中的三个worker上。

numWorkers = 3;p = parpool (“本地”, numWorkers);n = numpartitions (ds p);parfori=1:n subds = partition(ds,n, Ii);Hasdata (subds) data = read(subds);结束结束

输入参数

全部折叠

输入数据存储。你可以使用数据存储函数从您的数据创建一个数据存储对象。

分区数,指定为一个正整数。

如果指定的分区数量不是数据存储中文件数量的数字因子,分区将从第一个分区开始,将剩下的每个观察结果放在现有分区中。

包含额外观察数据的现有分区的数量等于用数据存储中的文件数量除以分区数量得到的剩余数。例如,如果您的数据存储对象包含23个文件,您希望将其划分为3个部分,那么前两个分区分区create将包含8个文件,最后一个分区将包含7个文件。

例子:3.

数据类型:

索引,指定为一个正整数。

例子:1

数据类型:

文件名,指定为字符向量或字符串标量。

的价值文件名中包含的文件名必须完全匹配文件数据存储的属性。要确保文件名完全匹配,请指定文件名使用ds。文件{N}在哪里N文件的索引是否在文件财产。例如,ds。文件{3}指定数据存储中的第三个文件ds

例子:ds。文件{3}

例子:“file1.csv”

例子:“. . / dir /数据/ file1.csv”

例子:hdfs: / / myserver: 7867 /数据/中

数据类型:字符

输出参数

全部折叠

输出数据存储。输出数据存储与输入数据存储类型相同ds

另请参阅

|

主题

介绍了R2015a