文档帮助中心文档
分区数据存储
再分=分区(n, ds指数)
再分=分区(ds,‘文件’,指数)
再分=分区(ds,文件,文件名)
例子
再分=分区(ds,n,指数)分区数据存储ds所指定的零件数量n并返回索引对应的分区指数.
再分=分区(ds,n,指数)
再分
ds
n
指数
再分=分区(ds“文件”,指数)按文件对数据存储进行分区,并返回索引文件对应的分区指数在文件财产。
再分=分区(ds“文件”,指数)
文件
再分=分区(ds“文件”,文件名)按文件对数据存储分区,并返回与指定文件对应的分区文件名.
再分=分区(ds“文件”,文件名)
文件名
全部折叠
为大型文件集合创建数据存储。对于本例,使用示例文件的10个副本airlinesmall.csv.若要处理表格数据中缺失的字段,请指定名称-值对TreatAsMissing和MissingValue.
airlinesmall.csv
TreatAsMissing
MissingValue
文件= repmat ({“airlinesmall.csv”} 1 10);ds = tabularTextDatastore(文件,...“TreatAsMissing”,“NA”,“MissingValue”, 0);
将数据存储分区为三部分,并返回第一个分区。的分区函数返回来自数据存储的大约三分之一的数据ds.
分区
再分=分区(ds, - 3, - 1)
subds = TabularTextDatastore with properties: Files:{'…matlab\工具箱\matlab\demos\airlinesmall.csv';’……\ matlab \ matlab工具箱\ \ demo \ airlinesmall.csv”;’……\ matlab \ matlab工具箱\ \ demo \ airlinesmall.csv”……ReadVariableNames: true VariableNames: {'Year', 'Month', 'DayofMonth'…NumHeaderLines: 0 Delimiter: ',' RowDelimiter: '\r\n' TreatAsMissing: 'NA' MissingValue: 0高级文本格式属性:TextscanFormats: {'%f', '%f', '%f'…MultipleDelimitersAsOne: false属性,控制由preview, read, readall返回的表:SelectedVariableNames: {'Year', 'Month', 'DayofMonth'…和26}SelectedFormats: {% f ', ' % f ', ' % f '……and 26 more} ReadSize: 20000行
的文件属性包含数据存储中包含的文件列表。检查文件数量在文件数据存储的属性ds以及分区的数据存储再分.数据存储ds包含十个文件和分区再分包含前四个文件。
长度(ds.Files)
ans = 10
长度(subds.Files)
ans = 4
从示例文件创建一个数据存储,mapredout.mat的输出文件mapreduce函数。
mapredout.mat
mapreduce
ds =数据存储(“mapredout.mat”);
获取默认的分区数ds.
n = numpartitions (ds);
将数据存储分区为默认的分区数,并返回第一个分区对应的数据存储。
再分=分区(n, ds 1);
读取数据再分.
而Hasdata (subds) data = read(subds);结束
创建一个包含三个映像文件的数据存储。
ds = imageDatastore ({“street1.jpg”,“peppers.png”,“corn.tif”})
文件:{'…\matlab\工具箱\matlab\demos\street1.jpg';matlab’……\ \ matlab工具箱\ \ imagesci \ peppers.png”;`…\matlab\工具箱\matlab\imagesci\corn.tif'} ReadSize: 1 label: {} ReadFcn: @readDatastoreImage . txt
按文件对数据存储分区,并返回与第二个文件对应的部分。
再分=分区(ds,“文件”, 2)
subds = ImageDatastore with properties: Files:{'…\matlab\工具箱\matlab\imagesci\ pepins .png'} ReadSize: 1 label: {} ReadFcn: @readDatastoreImage .png
再分包含一个文件。
将数据存储划分为三个部分,在一个并行池中的三个worker上。
numWorkers = 3;p = parpool (“本地”, numWorkers);n = numpartitions (ds p);parfori=1:n subds = partition(ds,n, Ii);而Hasdata (subds) data = read(subds);结束结束
输入数据存储。你可以使用数据存储函数从您的数据创建一个数据存储对象。
数据存储
分区数,指定为一个正整数。
如果指定的分区数量不是数据存储中文件数量的数字因子,分区将从第一个分区开始,将剩下的每个观察结果放在现有分区中。
包含额外观察数据的现有分区的数量等于用数据存储中的文件数量除以分区数量得到的剩余数。例如,如果您的数据存储对象包含23个文件,您希望将其划分为3个部分,那么前两个分区分区create将包含8个文件,最后一个分区将包含7个文件。
例子:3.
3.
数据类型:双
双
索引,指定为一个正整数。
例子:1
1
文件名,指定为字符向量或字符串标量。
的价值文件名中包含的文件名必须完全匹配文件数据存储的属性。要确保文件名完全匹配,请指定文件名使用ds。文件{N}在哪里N文件的索引是否在文件财产。例如,ds。文件{3}指定数据存储中的第三个文件ds.
ds。文件{N}
N
ds。文件{3}
例子:ds。文件{3}
例子:“file1.csv”
“file1.csv”
例子:“. . / dir /数据/ file1.csv”
“. . / dir /数据/ file1.csv”
例子:hdfs: / / myserver: 7867 /数据/中
hdfs: / / myserver: 7867 /数据/中
数据类型:字符
字符
输出数据存储。输出数据存储与输入数据存储类型相同ds.
数据存储|numpartitions
numpartitions
您有这个示例的一个修改版本。要用编辑打开这个例子吗?
您点击了一个对应于这个MATLAB命令的链接:
通过在MATLAB命令窗口中输入该命令来运行该命令。Web浏览器不支持MATLAB命令。金宝app
选择一个网站来获得可用的翻译内容,并看到当地的活动和提供。根据您所在的位置,我们建议您选择:.
你也可以从以下列表中选择一个网站:
请选择表现最佳的中国网站(中文或英文)。MathWorks的其他国家网站并没有针对您所在位置的访问进行优化。
与当地办事处联系