主要内容

matlab.io.datastore.BlockedFileSet

阻止文件集的集合街区内文件

自从R2020a

扩展所有的页面

描述

的matlab.io.datastore.BlockedFileSet对象可以帮助您处理大量块在文件时通过反复的文件。使用BlockedFileSet对象在一起DsFileReader从你的数据存储对象来管理和阅读文件。

创建

语法

b = matlab.io.datastore.BlockedFileSet(位置)
b = matlab.io.datastore.BlockedFileSet(位置、名称、值)

描述

废话= matlab.io.datastore.BlockedFileSet (位置)创建一个BlockedFileSet对象的集合块在文件根据指定的位置。

例子

废话= matlab.io.datastore.BlockedFileSet (位置,名称,值)指定文件扩展名,子文件夹,或设置对象属性。您可以指定多个名称-值对。附上名称加上引号。

输入参数

全部展开

文件或文件夹中包含BlockedFileSet对象,指定为一个特征向量,单元阵列的特征向量,字符串数组或结构。如果文件不在当前文件夹,然后位置必须是一个完整的或相对路径。子文件夹内文件不会自动包含在指定的文件夹BlockedFileSet对象。

通常对于一个Hadoop®工作流,当您指定位置作为一个结构,它必须包含的字段文件名,抵消,大小。这个需求使您能够使用位置参数直接与initializeDatastore的方法matlab.io.datastore.HadoopLocationBased类。例如,看到的添加对H金宝appadoop的支持。

您可以使用通配符(*)时指定位置。指定这个角色包括所有匹配的文件或文件组中的所有匹配的文件夹中的文件对象。

如果不是本地可用的文件,文件或文件夹的完整路径必须是一个统一资源定位符(URL),等
hdfs: / /主机名:portnumber/path_to_file。

数据类型:字符|细胞|字符串|结构体

名称-值参数

指定可选的双参数作为Name1 = Value1,…,以=家,在那里的名字参数名称和吗价值相应的价值。名称-值参数必须出现在其他参数,但对的顺序无关紧要。

R2021a之前,用逗号来分隔每一个名称和值,并附上的名字在报价。

例子:b = matlab.io.datastore.BlockedFileSet(位置、“IncludeSubfolders”真的)

文件扩展名,指定为一个特征向量,单元阵列的特征向量,或字符串数组。您可以使用空引用”代表文件没有扩展。

如果“FileExtensions”没有指定,那么BlockedFileSet自动包括所有的文件扩展名。

例子:“FileExtensions”、“jpg”

例子:FileExtensions, {' . txt ', ' . csv '}

子文件夹包含标志,指定为一个数字或逻辑1(真正的)或0(假)。指定真正的包括每个文件夹内的所有文件和子文件夹假只包括每个文件夹内的文件。

例子:“IncludeSubfolders”,真的

属性

全部展开

在字节用于分割文件块大小信息,指定这些值之一:

  • “文件”——使用集合中的下一个文件的大小。

  • 数字标量,使用指定的值在字节。

例子:“BlockSize”, 2000年

替代的文件系统根路径,指定为字符串数组或单元阵列。使用“AlternateFileSystemRoots”当您创建一个数据存储在本地机器上,但需要在另一台机器上访问和处理数据(可能是不同的操作系统)。另外,当处理数据使用并行计算工具箱™和MATLAB®并行服务器™,数据存储在您的本地机器复制的数据在不同的平台上云或集群机器,您必须使用“AlternateFileSystemRoots”把根路径。

  • 把一组相当于一根路径,指定“AlternateFileSystemRoots”作为一个字符串数组。例如,

    [" Z: \数据集”、“/ mynetwork /数据集”)

  • 把多个根集数据存储路径是等价的,指定“AlternateFileSystemRoots”作为一个单元阵列包含多个行,每一行表示一组等价的根路径。指定单元阵列中的每一行作为一个字符串数组或单元阵列的特征向量。例如:

    • 指定“AlternateFileSystemRoots”作为一个字符串数组的单元阵列。

      {[Z: \“数据集”、“/ mynetwork /数据集”);…[" Y: \数据集”、“/ mynetwork2 /数据集”、“年代:\数据集”)}

    • 另外,指定“AlternateFileSystemRoots”作为一个单元阵列单元阵列的特征向量。

      {{“Z: \数据集”、“mynetwork /数据集”},…{“Y: \数据集”,“mynetwork2 /数据集”,年代:\数据集的}}

的价值“AlternateFileSystemRoots”必须满足以下条件:

  • 包含一个或多个行,每一行指定一组等价的根路径。

  • 每一行指定多个根路径和每个根路径必须包含至少两个字符。

  • 根路径都是独一无二的,没有子文件夹。

  • 包含至少一个根路径条目指向文件的位置。

有关更多信息,请参见为处理在不同的机器上或设置数据存储集群。

例子:[" Z: \数据集”、“/ mynetwork /数据集”)

数据类型:字符串|细胞

这个属性是只读的。

阻塞文件集的块对象,指定为一个数字标量。

例子:bs.NumBlocks

数据类型:双

这个属性是只读的。

块读取BlockedFileSet对象,指定为一个数字标量。

例子:bs.NumBlocksRead

数据类型:双

这个属性是只读的。

块的信息matlab.io.datastore.BlockedFileSet对象,作为一个返回matlab.io.datastore.BlockedInfo对象与这些属性:

  • 文件名——文件的名称BlockedFileSet对象。这个名字包含文件的完整路径。

  • 文件大小——文件的字节数的大小。

  • 抵消-文件中读取的起始偏移量。

  • BlockSize——块大小的字节数。

对于一个特定的信息块,指定块索引。例如,bs.BlockInfo (2)返回第二块的信息。如果你叫bs.BlockInfo指定(:)或不指定索引,返回的所有块的信息。

例子:bs.BlockInfo (2)

对象的功能

hasPreviousBlock 确定了文件集之前的块
previousblock 之前的信息块阻塞的文件集
hasNextBlock 确定了文件集还有另一个块
nextblock 下一块阻塞文件集的信息
进步 确定有多少块或文件被读取
maxpartitions 最大数量的分区
分区 分区文件集对象
子集 创建数据存储或文件集的子集
重置 重置文件集对象

例子

全部折叠

打开生活的脚本

创建了文件集和查询信息为特定块阻塞文件集。

创建了文件集废话对一组文件和指定的块大小。

文件夹= {“accidents.mat”,“airlineResults.mat”,“census.mat”,“earth.mat”}
文件夹=1 x4单元格{”事故。垫的}{airlineResults。垫的}{普查。垫的}{' earth.mat '}
b = matlab.io.datastore.BlockedFileSet(文件夹,“BlockSize”,2000)
与属性:b = BlockedFileSet NumBlocks: 98 NumBlocksRead: 0 BlockSize: 2000 BlockInfo:显示所有98块BlockInfo AlternateFileSystemRoots: {}

获取信息的特定块使用nextblock函数或通过查询BlockInfo财产和指定一个索引。获取信息连续块使用nextblock。例如,获取信息的第一两个街区。

blk1 = nextblock (bs)
blk1 = 1 x1 BlockInfo文件名文件大小抵消BlockSize ______________________________________________________________________________ ________ ________ _____”/ mathworks猛击/棒/ Bdoc23a /构建/ matlab工具箱/ matlab /演示/事故。垫“7343 0 2000
blk2 = nextblock (bs)
blk2 = 1 x1 BlockInfo文件名文件大小抵消BlockSize ______________________________________________________________________________ ________ ________ _____”/ mathworks猛击/棒/ Bdoc23a /构建/ matlab工具箱/ matlab /演示/事故。垫”7343 2000 2000

查询BlockInfo财产中最后一个块的信息集。

lastblk = bs.BlockInfo (98)
lastblk = 1 x1 BlockInfo文件名文件大小抵消BlockSize __________________________________________________________________________ ________ ________ _____”/ mathworks猛击/棒/ Bdoc23a /构建/ matlab工具箱/ matlab /演示/地球。垫”32522 32000 522

版本历史

介绍了R2020a

另请参阅