カスタムアルゴリズムを実装する理由

ほとんどの一般的な数学関数とMATLAB演算では，既にtall配列がサポ，トされています。機能が既にサポ，トされている場合は，独自のアルゴリズムを作成する必要はないかもしれません。

以下に，高配列用のカスタムアルゴリズムを実装することが望ましい理由をいくか示します。

サポ，トされているAPI

サポ，トされているAPIは高度な使用を目的としており，広範な入力チェックは含まれていません。実装した補助関数がすべての要件を満たし,期待どおりの計算を行えることをテストするには,ある程度の時間がかかることが予想されます。tall配列アルゴリズムを作成するために現在サポ，トされているAPIを次に示します。

背景:高配列ブロック

データストアから高配列を作成すると,基となるデータストアによって,計算中のデータの移動が容易になります。デタは“ブロック”と呼ばれる別々の要素に分かれて移動します。各ブロックはメモリに収容可能な連続する行のセットです。たとえば，2 次元配列 (table など) の 1 つのブロックはX (n: m:)です。各ブロックのサ@ @ズは，デ@ @タストアのReadSizeプロパティの値に基づいていますが，ブロックが必ずしも正確にそのサ。高配列アルゴリズムを開発する場合、tall 配列はそうした多数のブロックを垂直方向に連結したものと見なされます。

配列のブロックは，使用可能なメモリに基づいて実行時に選択されるため，動的となる場合があります。そのため，ブロックは実行ごとに“厳密には”同じサ电子邮箱ズにならないことがあります。コンピューターで,使用可能なメモリに影響を与える変更がある場合,それがブロックのサイズに影響を与える可能性があります。

このペ，ジでは，2次元の観点から“ブロック”と“行”に言及していますが，この概念はN次元の高配列に拡張されます。ブロックサ▪▪▪▪ズは最初の次元でのみ制約されるため，ブロックには，たとえばX (n: m,:,:,…)のように他の次元の要素がすべて含まれます。また，n次元配列には，行ではなくX (p::,…)のような“スラaapl . exeス”が含まれています。

単一ステップの変換操作

関数matlab.tall.transformは,高配列の各ブロックに1つの関数を適用するため,データの変換,フィルター処理,または削減をブロック単位で適用するために使用できます。たとえば,特定の値をもつ行を削除し,データのセンタリングやスケーリングを行い,あるいは特定の条件を検出して特定データを変換することができます。以下の図は，matlab.tall.transformによって配列のブロックを操作したときの動作を示しています。

[tA, tB, tC，…]= matlab.tall.transform(fcn, tX, tY, tZ, ...)

[a, b, c，…]= fcn(x, y, z, ...)

2ステップのリダクション演算

matlab.tall.reduceは2つの関数を高配列に適用し,最初のステップの結果を最後のリダクションステップに入力として送ります。リダクション関数は,メモリに収まる単一の最終ブロックが得られるまで,中間結果に繰り返し適用されます。MapReduceのパラダイムでは,この処理は”単一キー”のMapReduce演算に似ています。そこでは，中間結果がすべて同じキ，をも，リダクションステップで結合されます。

最初のステップはmatlab.tall.transformに似ており，その要件は同じです。ただし，リダクション ステップでは、中間結果がメモリに収まる単一のブロックへと常に縮小されます。以下の図は、matlab.tall.reduceによって配列のブロックを操作したときの動作を示しています。

[rA, rB, rC，…]= matlab.tall.reduce(fcn, reducefcn, tX, tY, tZ, ...)

[a, b, c，…]= fcn(x, y, z, ...)

[rA, rB, rC，…]= reducefcn(a, b, c, ...)

[rA, rB, rC，…]= reducefcn(a, b, c, ...)

スラ@ @ディングウィンドウ操作

関数matlab.tall.movingWindowおよびmatlab.tall.blockMovingWindowは，高配列内のデ，タのウィンドウに関数を適用します。matlab.tall.transformとmatlab.tall.reduceは一度にデータブロック全体に対して操作を行いますが,移動ウィンドウ関数は,ウィンドウが配列の先頭から末尾まで移動する際にデータのウインドウに対して操作を行います。ウィンドウは，ディスクから読み取られるデ，タの複数のブロックにまたがることができます。

以下の図は，matlab.tall.movingWindowまたはmatlab.tall.blockMovingWindowによって配列のブロックを操作したときの動作を示しています。

matlab.tall.movingWindowとmatlab.tall.blockMovingWindowを使用して，デ，タにウィンドウ変換やフィルタ，を適用できます。たとえば，末尾平均や移動中央値を計算したり、一度に複数の操作を同じウィンドウに対して適用することができます。2 つの関数は次の点で違いがあります。

[tA, tB, tC，…]= matlab.tall.movingWindow(fcn, window, tX, tY, tZ, ...)

[a, b, c，…]= fcn(x, y, z, ...)

[tA, tB, tC，…]= matlab.tall.blockMovingWindow(windowfcn, blockfcn, window, tX, tY, tZ, ...)

[a, b, c，…]= windowfcn(info, x, y, z, ...) [a, b, c, ...] = blockfcn(info, bX, bY, bZ, ...)

[a, b, c，…]= windowfcn(info, x, y, ...)

[a, b, c，…]= blockfcn(info, bX, bY, bZ, ...)

出力デ，タ型の制御

サポ，トされているAPIのいずれかからの最終的な出力に入力と異なるデ，タ型がある場合は，名前と値のペア“OutputsLike”を指定して，対応する出力と同じデタ型と属性をも1以上のプロトタプ配列を提示“しなければなりません”。“OutputsLike”の値は常に细胞配列であり,各细胞には対応する出力引数のプロトタイプ配列が含まれます。

たとえば，次のmatlab.tall.transformの呼び出しは，1の高配列tXを入力として受け取り，プロトタprotoAおよびprotoBによって指定された異なる型をも2の出力を返します。出力一个はprotoAと同じデタ型と属性をも，BとprotoBの場合も同様です。

C = {protoA protoB};[A, B] = matlab.tall。transform(fcn, tX， 'OutputsLike'， C)

プロトタ@ @プ配列を提供する一般的な方法は，適切なデ@ @タ型の自明な入力でfcnを呼び出すことです。これは，fcnによって返される出力が正しいデ，タ型になるためです。この例では，変換関数が高双を受け取り，高桌を返します。プロトタ@ @プ配列はfcn (0)の呼び出しによって生成され，プロトタ“OutputsLike”の値として指定されます。

ds = tabularTextDatastore(' airlinsmall .csv'，'TreatAsMissing'，'NA');ds。SelectedVariableNames = {'ArrDelay'， 'DepDelay'};Tt =高(ds);tX = tt.ArrDelay;fcn = @(x) table(x，'VariableNames'，{'MyVar'});proto_A = fcn(0);A = matlab.tall.transform(fcn,tX，'OutputsLike'，{proto_A});

コ，ディングとパフォ，マンスのヒント