主要内容

将数据传输到Amazon S3存储桶和使用MATLAB数据存储访问数据

要使用云中的数据，您可以上载到Amazon S3，然后使用数据存储来从群集中的工人中访问S3中的数据。

  1. 有效文件转移到Amazon S3，下载和安装AWS命令行界面工具https://aws.amazon.com/cli/。

  2. 指定AWS访问密钥ID，秘密访问密钥和区域（如果您使用的AWS临时令牌）作为系统环境变量。

    • 例如，在Linux，MacOS或Unix上与基于Bourne的shell：

      导出aws_access_key_id =“your_aws_access_key_id”导出aws_secret_access_key =.“your_aws_secret_access_key”导出aws_default_region =“Us-East-1”
      如果您使用的是基于C的shell，请更换出口和setenv.在上面的命令中。

    • 在Windows上：

      set aws_access_key_id =.“your_aws_access_key_id”SET AWS_SECRET_ACCESS_KEY =“your_aws_secret_access_key”SET AWS_DEFAULT_REGION =“US-EAST-1”

      要永久设置这些环境变量，请在用户或系统环境中设置它们。

    笔记

    对于matlab.®在R2020A之前发布，使用aws_region.代替aws_default_region.。

  3. 为您的数据创建存储桶。要么使用AWS S3网页或如下所示的命令：

    AWS S3 MB S3：//mynewbucket.

  4. 使用如下命令的命令上传您的数据：

    AWS S3 CP MyLocalDataPath S3：// mynewbucket  - 额外誓言
    例如：
    aws s3 cp路径/to/cifar10/in/the/local/machine s3://MyExampleCloudData/cifar10/——递归

  5. 创建云集群后，将AWS凭据复制到群集工人，在Matlab中，选择平行线>创建和管理集群。在“群集配置文件管理器”中，选择“云集群配置文件”。滚动到环境变量属性和添加（仅限环境变量名称）AWS_ACCESS_KEY_ID，AWS_SECRET_ACCESS_KEY和AWS_DEFAULT_REGION。如果您使用的是AWS临时凭据，还会添加aws_session_token。请注意，在启动MATLAB会话之前，应设置shell中的aws环境变量的值，或使用使用的matlab直接设置它们setenv.使用群集之前的命令。

在Amazon S3中存储数据之后，您可以使用数据存储来访问集群工作器中的数据。只需创建一个指向S3桶URL的数据存储。例如，下面的示例代码显示了使用ImageageAtastore.访问S3桶。代替's3：// myexampleclouddata / cifar10'使用S3桶的URL。

IMDS = ImageageAtastore（'s3：// myexampleclouddata / cifar10'，...'uppordubfolders'，true，...'labelsource'，'foldernames'）;
你可以使用一个ImageageAtastore.要从桌面客户端MATLAB中的云中读取数据，或在群集工人上运行代码时，无需更改代码。有关详细信息，请参阅使用远程数据 （Matlab）。

有关使用存储在Amazon S3中的数据的逐步示例，显示深度学习，请参阅白皮书与MATLAB和多个GPU的深度学习。

相关的话题

Matlab在云文档中

金宝app

与Matlab引入深度学习

与Matlab引入深度学习

下载电子书