集群文件系统和存储
提示
如果你有一个Amazon S3 bucket中存储的数据,那么您可以使用数据存储在MATLAB来直接访问数据而无需任何存储在集群上。有关详细信息,请参见将数据迁移到Amazon S3 bucket使用MATLAB数据存储和访问数据。您还可以选择以下存储选项创建集群。
集群共享存储
持久化存储。请求共享磁盘空间仍然关闭集群后,选择一个磁盘的大小。安装在共享存储
/共享/持久化。详情,请参见下表。临时存储。集群的共享文件系统基于集群headnode临时性存储。当集群启动时,安装在临时存储
/ / tmp共享,这是一个分布式文件系统的所有短暂的块设备在headnode实例。当集群关闭的内容/ / tmp共享是删除。如果headnode没有临时性存储、临时存储不可用。MATLAB开车。可以用来访问MATLAB开车,你必须使用个人集群。你在MATLAB可以访问文件驱动的安装位置
MATLAB /驱动。Amazon S3数据。将单个文件从一个Amazon S3 bucket集群机器,点击添加文件。您可以指定S3文件只有在创建集群,第一次启动它。当集群启动时,文件复制到
/共享/进口。看到从Amazon S3账户数据复制到您的集群。
本地机器上存储
体积大小:要求一个亚马逊EBS卷,输入数量的GB在箱子里,如。One hundred.这导致一个本地数据量,每个工人的机器上创建的集群。是安装在本地数据卷
/ mnt / localdata。使用这个选项,当读/写性能是至关重要的。EBS快照ID:如果你之前保存的EBS快照数据在亚马逊,然后输入ID。数据复制到SSD卷附加到每个工人的机器。如果您提供一个格式化的快照,然后必须的文件系统类型
ext3,ext4,或xfs。为ext3和ext4文件系统的,完整的体积大小可能不会立即在线实例时。文件系统完全生长能力需要30分钟后在线实例,根据的大小extN数量和类型的实例。您可以访问所有数据在原始快照一旦在线集群。临时性存储:这种类型的存储只有在实例类型包含在他们的名字“d”,例如,m5ad.24xlarge。每一个临时性存储设备(NVMe SSD)安装
/ mnt / localdataN,在那里N从0到临时性存储设备的数量- 1,例如,/ mnt / localdata1对应于第二个临时性存储设备。
在选择你的存储选项,点击创建集群。在其他集群设置的详细信息,请参见创建一个云计算集群。
所有工人的机器可以访问本地和集群共享存储。您可以使用这些文件夹来存储数据由您的工作,您要转帐和数据集群和你的客户之间的位置。看到传输数据到集群或从一个云计算中心。所有工人的路径是相同的机器集群的。更改文件和文件夹/ mnt / localdata到其他机器是不可见的。文件和文件夹下/共享挂载点是由所有员工共享机器集群。更改的任何机器是可见的所有其他机器。每个文件夹有不同的寿命,如表所示。
| 位置 | 大小 | 使用 |
|---|---|---|
/ mnt / localdata |
集群配置中指定 | 本地计算机存储卷的位置。每个工人的机器都有自己的数据的副本。暂时的,中间数据也可以写入到这个位置。 当集群是停止删除。集群运行之间的数据没有保留。如果你指定一个EBS快照,然后再复制数据集群时开始。 |
/ mnt / localdataN |
集群配置中指定 | 只能和自动启用实例类型包含在他们的名字“d”,例如,m5ad.24xlarge。这是由临时性存储存储卷。每一个临时性存储设备(NVMe SSD)安装 |
MATLAB /驱动 |
取决于你的MATLAB许可证。有关更多信息,请参见MATLAB®驱动™存储配额(MATLAB)。 | 个人选择集群时启用集群的创建。 在工人的机器一个只读文件系统。 |
/共享/持久化 |
指定在创建集群 | 集群共享持久化存储的位置和MATLAB作业调度器(mj)数据。这个文件夹是工人的机器之间共享和集群运行之间保留。你想保存数据检索下集群在文件夹和文件的开始 由于内容 集群时删除删除。 |
/ / tmp共享 |
随实例类型,只能与临时性存储实例(NVMe实例存储) | 这个文件夹是工人的机器之间共享,而不是保留之间的集群运行。使用它来存储临时和中间数据从多个工人必须可见或可访问机器。可用的存储空间取决于可用的临时性存储选中的机实例类型。 当集群是停止删除。 |
/共享/进口 |
分配的一部分/共享/持久化。如果两者都是可用的/ / tmp共享使用。 |
集群共享Amazon S3数据的位置。选择Amazon S3对象被复制到这个位置当集群是第一次创建/开始。如果 |
注意:
没有文件共享不同使用集群共享存储的集群。只有同一集群中机器的文件共享。
您创建、启动、停止和删除你的云团独立于当地MATLAB会话。删除一个相关的集群对象在MATLAB并不影响云计算集群或其持久存储。
一个集群超时的时候,关闭和清除的内容
/ / tmp共享,/共享/进口,/ mnt / localdata,/ mnt / localdataN,但保存的内容/共享/持久化。如果你使用一个自动关机设置集群,确保你有所有你需要的数据/ / tmp共享,/ mnt / localdata和/ mnt / localdataN在此之前超时。的内容
/ / tmp共享建立使用临时性存储。检查如果
/共享/进口支持/共享/持久化,或者/ / tmp共享,运行以下命令ls - l /共享/进口,它显示它的实际位置。
Headnode限制S3上传
S3文件上传的作品只有一个或两个满足以下条件:
headnode是临时性存储实例类型,例如,m5ad.24xlarge。
在创建集群启用持久化存储。
如果这些条件都不满足,那么S3工人节点文件是不可见的。例如,如果你有一个专用的headnode m5型集群。没有临时性存储超大,S3上传工作只有在启用持久化存储。
