アクセスの設定

Amazon S3のリモートデータを操作するには,まずアクセスを設定しなければなりません。

并行计算工具箱™を使用している場合は,クラスターがS3サービスにアクセスするよう設定されていることを確認しなければなりません。EnvironmentVariablesをparpool、批处理,またはcreateJob内で設定するか,クラスタープロファイルマネージャーで設定することにより,クライアント環境変数をクラスター上のワーカーにコピーできます。

Amazon S3からのデータの読み取り

Amazon S3のデータはデータストアオブジェクトを使用して読み取ることができます。たとえば,ImageDatastoreを作成して,指定したイメージをデータストアから読み取り,そのイメージを画面に表示します。

setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = imageDatastore('s3://bucketname/image_datastore/jpegfiles'，…' inclesubfolders '， true， 'LabelSource'， 'foldernames');img = ds.readimage (1);imshow (img)

Amazon S3へのデータの書き込み

Amazon S3にデータを書き込むには,分散配列または高配列上で関数写を呼び出し,クラウドストレージ内のフォルダーへの絶対パスを指定します。次の例では,Amazon S3から表形式データを高配列に読み取り,欠損エントリを削除して並べ替える前処理を行ったうえで,Amazon S3に書き戻す方法を説明します。

setenv(“AWS_ACCESS_KEY_ID”、“YOUR_AWS_ACCESS_KEY_ID”);setenv(“AWS_SECRET_ACCESS_KEY”、“YOUR_AWS_SECRET_ACCESS_KEY”);ds = tabularTextDatastore('s3://bucketname/dataset/ airlinessmall .csv'，…'TreatAsMissing'， 'NA'， 'SelectedVariableNames'， {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(“s3: / / bucketname / preprocessedData /”,tt);

高データを読み戻すには,関数数据存储を使用します。

ds =数据存储(s3: / / bucketname / preprocessedData / ');tt =高(ds);

アクセスの設定

Azureストレージ内のリモートデータを操作するには,まずアクセスを設定しなければなりません。

并行计算工具箱を使用している場合は,EnvironmentVariablesをparpool、批处理,またはcreateJob内で設定するか,クラスタープロファイルマネージャーで設定することにより,クライアント環境変数をクラスター上のワーカーにコピーしなければなりません。

詳細については,Azure HDInsightクラスターでAzure存储を使用するを参照してください。

Azureからのデータの読み取り

WASBの場所からデータを読み取るには,データストアオブジェクトを使用します。ファイルの場所を作成するには,ファイル名file.extで開始して,ファイルパス/ path_to_fileとアカウント名wasbs: / / container@account /を前に追加します。完全なデータの場所には次の構文を使用します。

wasbs: / / container@account / path_to_file / file.ext

container@accountはコンテナーの名前,path_to_fileはファイルまたはフォルダーへのパスです。

たとえば,airlinesmall.csvというファイルが/航空公司というフォルダーの中にあり,このフォルダーがテストストレージアカウントwasbs: / / blobContainer@storageAccount.blob.core.windows.net/にある場合,次を使用してデータストアを作成できます。

位置=“wasbs: / / blobContainer@storageAccount.blob.core.windows.net/airline/airlinesmall.csv”;

ds = tabularTextDatastore(location， 'TreatAsMissing'， 'NA'，…)SelectedVariableNames, {' ArrDelay '});

直接の読み取り,mapreduce,高配列,深層学習など,データストアでサポートされるすべての計算にAzureを使用できます。たとえば,ImageDatastoreを作成して,指定したイメージをデータストアから読み取り,そのイメージを画面に表示します。

setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = imageDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/'，…' inclesubfolders '， true， 'LabelSource'， 'foldernames');img = ds.readimage (1);imshow (img)

Azureへのデータの書き込み

Azureにデータを書き込むには,分散配列または高配列上で関数写を呼び出し,クラウドストレージ内のフォルダーへの絶対パスを指定します。次の例では,Azureから表形式データを高配列に読み取り,欠損エントリを削除して並べ替える前処理を行ったうえで,Azureに書き戻す方法を説明します。

setenv(“MW_WASB_SAS_TOKEN”、“YOUR_WASB_SAS_TOKEN”);ds = tabularTextDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/dataset/airlinesmall.csv'，…'TreatAsMissing'， 'NA'， 'SelectedVariableNames'， {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(wasbs: / / YourContainer@YourAccount.blob.core.windows.net/preprocessedData/, tt);

高データを読み戻すには,関数数据存储を使用します。

ds =数据存储(“wasbs: / / YourContainer@YourAccount.blob.core.windows.net/preprocessedData/”);tt =高(ds);

データ位置の指定

関数tabularTextDatastoreを使用して,Hadoop分散ファイルシステム(HDFS)上のテキストファイルまたはシーケンスファイルのコレクションについてデータストアを作成することもできます。データの場所を指定する場合は、次のいずれかの形式の Uniform Resource Locator (URL) を使用してファイルまたはフォルダーへの絶対パスを指定しなければなりません。

hdfs: / path_to_file

hdfs: / / / path_to_file

hdfs: / /主机名/ path_to_file

主机名はホストまたはサーバーの名前,path_to_fileはファイルまたはフォルダーへのパスです。主机名の指定はオプションです。主机名を指定しない場合,HadoopはMATLABのHadoop分散ファイルシステム(HDFS)インストールに関連付けられている既定のホスト名を使用します。

たとえば,これらのコマンドは両方ともmyserverというホストにある数据という名前のフォルダーのファイル中に対するデータストアを作成します。

主机名を指定する場合は,HadoopクラスターのHadoop XML構成ファイル内のfs.default.nameプロパティで定義されたnamenodeに一致しなければなりません。

オプションで,ポート番号を含めることもできます。たとえば,この場所は,数据というフォルダーのファイル中を含む,ポート7867のmyserverというホストを指定します。

hdfs: / / myserver: 7867 /数据/中

指定されたポート番号は,HDFS構成のポート番号セットに一致しなければなりません。

Hadoop環境変数の設定

HDFSから読み取る前に,関数setenvを使用して,Hadoopがインストールされているフォルダーに適切な環境変数を設定します。このフォルダーは,現在のマシンからアクセス可能でなければなりません。

たとえば,このコマンドを使用してHADOOP_HOME環境変数を設定します。hadoop-folderはHadoopがインストールされているフォルダー,/ mypath /はそのフォルダーへのパスです。

setenv (' HADOOP_HOME ', ' / mypath / hadoop-folder ');

HortonworksまたはCloudera上のHDFSデータ

現在のマシンからHortonworksまたはCloudera^®上のHDFSデータにアクセスできる場合,HADOOP_HOMEまたはHADOOP_PREFIXの環境変数を設定する必要はありません。HortonworksまたはClouderaアプリケーションのエッジ ノードを使用するとき、MATLAB はこれらの環境変数を自動的に割り当てます。

メモリからコードがクリアされるのを回避する

HDFSから読み取る場合やシーケンスファイルをローカルに読み取る場合,関数数据存储はjavaaddpathコマンドを呼び出します。このコマンドは以下を実行します。

永続変数,コードファイルまたは墨西哥人ファイルがクリアされないようにするには,関数mlockを使用します。

HDFSへのデータの書き込み

関数写を使用して,高配列と分散配列をHadoop分散ファイルシステムに書き込みます。この関数を分散配列または高配列で呼び出すときは,HDFSフォルダーへの絶対パスを指定しなければなりません。次の例では,HDFSから表形式データを高配列に読み取り,欠損エントリを削除して並べ替える前処理を行ったうえで,HDFSに書き戻す方法を説明します。

ds = tabularTextDatastore('hdfs://myserver/some/path/dataset/ airlinessmall .csv'，…'TreatAsMissing'， 'NA'， 'SelectedVariableNames'， {'ArrDelay'});tt =高(ds);tt = sortrows (rmmissing (tt));写(“hdfs: / / myserver /一些/道路/ preprocessedData / ', tt);

高データを読み戻すには,関数数据存储を使用します。

ds =数据存储(hdfs: / / myserver /一些/道路/ preprocessedData / ');tt =高(ds);