MATLAB的答案

在Matlab Parallel Cloud Worker上从Amazon S3读取数据

11个视图(过去30天)

显示旧的评论

乔恩酒 2018年1月24日

评论道: 乔恩酒2018年7月5日

答:接受乔恩酒

你好，我正在处理一个存储在Amazon S3上的大数据集。我的代码架构如下:

Matlab客户端调用Matlab并行云(我的默认集群是并行云，16工人):

                    r = 0 (100 1);
                   
                    readTimes = r;
                   
                    parfori = 1:10 0
                   
                    [国际扶轮,readTimesi] = myProcess (i);
                   
                    r (i) =国际扶轮;
                   
                    readTimes (i) = readTimesi;
                   
                    结束
                   
                    流(“平均阅读时间%。”1 f秒\ n '意思是(readTimes));

每个工作人员都独立访问Amazon S3，以检索使用dataStore进行处理的数据。

                    函数[r, readTime] = myProcess(我)
                   
                    %组S3凭证
                   
                    setenv (“AWS_ACCESS_KEY_ID”，“ID”);
                   
                    setenv (“AWS_SECRET_ACCESS_KEY”，“关键”);
                   
                    setenv (“AWS_REGION”，“us-west-2”);
                   
                    %加载数据
                   
                    fp = [s3: / / mybucket /数据/文件num2str(我). data的]；
                   
                    t =抽搐;
                   
                    ds = fileDatastore (fp,“ReadFcn”, @AWSRead);
                   
                    数据= ds.read;
                   
                    readTime = toc (t);
                   
                    %的过程
                   
                    %……
                   
                    r =意味着(数据);
                   
                    结束
                   
                    函数data = AWSRead(文件名)
                   
                    fid = fopen(文件名);
                   
                    =从文件中读数据(fid,正无穷,“短”);
                   
                    文件关闭(fid);
                   
                    结束