将深度学习数据上传到云
此示例显示了如何将数据上传到Amazon S3存储桶。
在可以在云中进行深度学习培训之前,您需要将数据上传到云中。该示例显示了如何将CIFAR-10数据集下载到您的计算机,然后将数据上传到Amazon S3存储桶中,以供以后在MATLAB中使用。CIFAR-10数据集是通常用于基准图像分类算法的标记图像数据集。在运行此示例之前,您需要访问Amazon Web服务(AWS)帐户。将数据集上传到Amazon S3之后,您可以尝试在并联和云中的深度学习。
将CIFAR-10下载到本地机器
指定可下载数据集的本地目录。以下代码在当前目录中创建一个文件夹,其中包含数据集中的所有图像。
目录= PWD;[traindirectory,testDirectory] = downloadcifartoforders(目录);
下载CIFAR-10数据集...完成。将CIFAR-10复制到文件夹...完成。
将本地数据集上传到Amazon S3存储桶
要使用云中的数据,您可以上传到Amazon S3,然后使用DataStores从集群中的工人中访问S3中的数据。以下步骤描述了如何将CIFAR-10数据集从本地计算机上传到Amazon S3存储桶。
1.有关往返Amazon S3的有效文件传输,请从https://aws.amazon.com/cli/
。
2.指定您的AWS访问密钥ID,秘密访问密钥和存储桶的区域为系统环境变量。请与您的AWS帐户管理员联系以获取您的钥匙。
例如,在Linux,MacOS或UNIX上,指定这些变量:
export aws_access_key_id =“ your_aws_access_key_id”“ export aws_secret_access_key =” your_aws_secret_access_key.
在Windows上,指定这些变量:
设置AWS_ACCESS_KEY_ID =“ your_aws_access_key_id” set aws_secret_access_key =“ your_aws_secret_access_key” set aws_default_region =“ us-east-1”
要永久指定这些环境变量,请将它们设置在您的用户或系统环境中。
3.使用AWS S3网页或以下命令创建数据存储桶:
AWS S3 MB S3:// mynewbucket
4.使用以下命令上传数据:
AWS S3 CP mylocaldatapath s3:// mynewbucket-回报
例如:
AWS S3 CP PATH/to/cifar10/in/the/local/Machine S3:// myexampleclouddata/cifar10/ - 回复
5.通过在MATLAB中完成以下步骤:
一个。在里面环境关于家选项卡,选择平行>创建和管理集群。
b。在里面集群配置文件集群配置文件管理器的窗格,选择您的云群集配置文件。
C。在里面特性选项卡,选择环境变量属性,根据需要滚动以找到该属性。
d。在窗口的右下角,单击编辑。
e。单击右侧的框环境变量,然后键入这三个变量,每个变量都在其自己的行中:AWS_ACCESS_KEY_ID
,,,,aws_secret_access_key
, 和aws_default_region
。
F。在窗口的右下角,单击完毕。
有关如何创建云集群的信息,请参阅创建云集群(并行计算工具箱)。
在MATLAB中使用数据集
将数据存储在Amazon S3中后,您可以使用DataStores访问群集工作人员的数据。只需创建一个指向S3存储库URL的数据存储即可。以下示例代码显示了如何使用成像
访问S3存储桶。代替's3:// myexampleclouddata/cifar10/train'
带有您的S3桶的URL。
imds = imagedatastore('s3:// myexampleclouddata/cifar10/train',,,,...“包括橡皮folders”,真的,...“ Labelsource”,,,,“折叠式”);
使用CIFAR-10数据集现在存储在Amazon S3中,您可以尝试使用任何示例并联和云中的深度学习这显示了如何在不同用例中使用CIFAR-10。