此示例显示如何将数据上载到Amazon S3存储桶。
在您在云中执行深度学习培训之前,您需要将数据上传到云。该示例显示了如何将CiFar-10数据设置为计算机,然后将数据上传到Amazon S3存储桶,以供以后在MATLAB中使用。CiFar-10数据集是用于基准测试图像分类算法的标记图像数据集。在运行此示例之前,您需要访问Amazon Web服务(AWS)帐户。将数据设置为Amazon S3后,您可以尝试任何示例深度学习并行和云中。
指定下载数据集的本地目录。以下代码在包含数据集中的所有图像的当前目录中创建一个文件夹。
目录= PWD;[TrainDirectory,TestDirectory] = downloadcartofolders(目录);
下载CiFar-10数据集...完成。将CiFar-10复制到文件夹......完成。
要使用云中的数据,可以上载到Amazon S3,然后使用数据存储来访问群集中工人的S3中的数据。以下步骤描述了如何将从本地计算机上传到Amazon S3存储桶的CIFAR-10数据。
1.对于往返Amazon S3的有效文件传输,从而从中下载并安装AWS命令行界面工具https://aws.amazon.com/cli/
。
2.指定AWS访问密钥ID,桶的秘密访问密钥和桶区域作为系统环境变量。请联系AWS帐户管理员以获取键。
例如,在Linux、macOS或Unix上,指定以下变量:
导出aws_access_key_id =“your_aws_access_key_id”导出aws_secret_access_key =“your_aws_secret_access_key”导出aws_default_region =“Use-East-1”
在Windows上,指定这些变量:
set AWS_ACCESS_KEY_ID="YOUR_AWS_ACCESS_KEY_ID" set AWS_SECRET_ACCESS_KEY="YOUR_AWS_SECRET_ACCESS_KEY" set AWS_DEFAULT_REGION="us-east-1"
要永久地指定这些环境变量,请在您的用户或系统环境中设置它们。
3.使用AWS S3网页或命令(如以下命令)为数据创建存储桶:
AWS S3 MB S3:// mynewbucket
4.使用以下命令(如以下命令)上传数据:
Aws s3 cp mylocaldatapath s3://mynewbucket——recursive
例如:
AWS S3 CP路径/到/ CIFAR10 / IN / /本地/机器S3:// MyExamplecloudData / CiFar10 / - 持久性
5.通过在MATLAB中完成以下步骤,将您的AWS凭据复制到集群工作人员:
的。环境关于的部分家选项卡,选择平行>创建和管理群集。
b。集群配置文件窗格中,选择您的云集群配置文件。
C。在里面特性选项卡,选择环境变量属性,滚动必要时找到属性。
d.单击窗口右下方的编辑。
e。单击右侧的框环境变量,然后键入这三个变量,每个变量在其自己的行中:aws_access_key_id.
那AWS_SECRET_ACCESS_KEY
,aws_default_region.
。
f.在窗口右下方,单击完成。
有关如何创建云群集的信息,请参阅创建云集群(并行计算工具箱)。
将数据存储在Amazon S3中后,您可以使用数据存储来访问群集工人的数据。只需创建一个指向S3存储桶的URL的数据存储。以下示例代码显示了如何使用imageDatastore
访问S3桶。代替's3:// myexampleclouddata / cifar10 /火车'
S3桶的URL。
imds = imageageatastore('s3:// myexampleclouddata / cifar10 /火车'那......“IncludeSubfolders”,真的,......“LabelSource”那'foldernames');
使用现在存储在Amazon S3中的CiFar-10数据集,您可以尝试任何示例深度学习并行和云中展示了如何在不同的用例中使用CIFAR-10。