このトピックでは、MapReduceの基本的な用語を紹介します。
Map/Reduce
mapまたはreduceタスクが実行されると、setup() 、map() またはreduce() 、およびcleanup() メソッドが呼び出されます。 setup() メソッドは、map() またはreduce() メソッドの前に呼び出されます。 各ワーカーはそれを一度だけ呼び出します。
cleanup() メソッドは、map() またはreduce() メソッドの後に呼び出されます。 各ワーカーはそれを一度だけ呼び出します。
使用例の詳細については、「プログラムの例」をご参照ください。
ソート
マッパーによって生成されたキーレコードの一部の列は、ソート列として使用できます。 これらの列は、カスタムコンパレータをサポートしていません。 いくつかの並べ替え列をグループ列として選択できます。 これらの列は、カスタムグループコンパレータをサポートしていません。 ソート列はデータのソートに使用され、グループ列は二次ソートに使用されます。
使用例の詳細については、「セカンダリ並べ替えソースコード」をご参照ください。
パーティション
MaxComputeは、パーティション列とカスタムパーティショナーをサポートしています。 パーティション列は、カスタムパーティショナーよりも優先されます。
パーティショナーは、マッパーによって生成されたデータをパーティショニングロジックに基づいて異なるリデューサに割り当てるために使用されます。
Combiner
コンバイナ機能は、シャッフル段階で隣接するレコードを結合する。 combiner関数を使用するかどうかは、ビジネスロジックに基づいて決定できます。
コンバイナ機能は、MapReduceコンピューティングフレームワークの最適化です。 コンバイナ論理は、リデューサロジックと同じである。 マッパーがデータを生成した後、フレームワークは、マップ段階でデータを同じキーと結合する。
使用例の詳細については、「プログラムの例」をご参照ください。