MaxCompute:MapReduce

シナリオ

MapReduce は、次のシナリオをサポートしています。

• 検索： Web クローリング、転置インデックス、PageRank。

• Web アクセスログの分析：

  • 閲覧や購入などのユーザー行動を分析・マイニングし、パーソナライズされたレコメンデーションを提供します。

  • ユーザーアクセスパターンを分析します。

• テキストの統計分析：

  • 人気小説の単語数と term frequency-inverse document frequency (TF-IDF) 分析。

  • 学術論文や特許文書の統計分析と引用分析。

  • Wikipedia データ分析。

• 非構造化データ、時空間データ、画像データなど、大量のデータのマイニング。

• 機械学習： 教師あり学習、教師なし学習、決定木やサポートベクターマシン (SVM) などの分類アルゴリズム。

• 自然言語処理：

  • ビッグデータに基づくトレーニングと予測。

  • コーパスに基づいた単語共起行列の構築、頻出アイテムセットのマイニング、重複ドキュメントの検出。

• 広告レコメンデーション： クリック率 (CTR) とコンバージョン率 (CVR) の予測。

MapReduce プロセスの説明

MapReduce プログラムは、2 つの主要なステージでデータを処理します。Map ステージの後に Reduce ステージが続きます。これらのステージの処理ロジックは定義できますが、MapReduce フレームワークの規則に従う必要があります。MapReduce の完全なデータ処理フローは次のとおりです：

1. 入力データ： Map 操作の前に、入力データは均等なサイズのデータブロックに分割されます。各データブロックは、Map ワーカーの入力として使用されます。これにより、複数の Map ワーカーを同時に実行できます。

2. Map ステージ： 各 Map ワーカーは、割り当てられたデータブロックを読み取り、処理します。次に、各出力レコードにキーを割り当てます。このキーによって、どの Reduce ワーカーがレコードを受信するかが決まります。

   説明

   同じキーを持つデータレコードは、同じ Reduce ワーカーに送信されます。1 つの Reduce ワーカーは、異なるキーを持つデータレコードを受信できます。

3. シャッフル フェーズ: Reduce フェーズの前に、MapReduce フレームワークはデータをキーでソートし、同じキーを持つデータをグループ化します。 [コンバイン操作 (コンバイナ)] を指定した場合、フレームワークはコンバイナを呼び出して同じキーを持つデータを集約します。 コンバイナのロジックはカスタマイズできます。 MaxCompute では、従来の MapReduce フレームワークプロトコルとは異なり、コンバイナの入力パラメーターと出力パラメーターは Reduce フェーズのものと一致している必要があります。 プロセスのこの部分は、一般的に [シャッフル] とも呼ばれます。

4. Reduce ステージ： 同じキーを持つデータレコードは、同じ Reduce ワーカーに送信されます。1 つの Reduce ワーカーは、複数の Map ワーカーからデータを受信できます。各 Reduce ワーカーは、同じキーを持つデータレコードに対して Reduce 操作を実行し、それらを 1 つの値に変換します。

5. 出力データ： 結果が生成されます。

次のセクションでは、WordCount の例を使用して、MaxCompute MapReduce の各ステージの概念を説明します。

[手順]

1. 入力データ： テキストファイルが分割されます。各パーティションのデータは、Map ワーカーの入力として使用されます。

2. Map ステージ： Map ワーカーは入力を処理します。受信した各数字に対して、カウントを 1 に設定し、<Word, Count> ペアを出力します。単語は、出力データのキーとして使用されます。

3. シャッフル > コンバイナ処理とソート： 初期のシャッフルステージでは、各 Map ワーカーからの出力は、まずキー (単語) でソートされます。ソート後、コンバイナ操作が実行されます。同じキー (単語) のカウントが集約され、新しい <Word, Count> ペアが形成されます。このプロセスは、コンバイナ処理とソートと呼ばれます。

4. シャッフル > Reducer への割り当て： 後期のシャッフルステージでは、データが Reducer に送信されます。Reduce ワーカーがデータを受信すると、キーで再度データをソートします。

5. Reduce ステージ： 各 Reduce ワーカーは、コンバイナと同じロジックを使用してデータを処理します。同じキー (単語) のカウントを集約して、最終結果を取得します。

6. 出力データ。

制限

• MapReduce の制限については、「制限の概要」を参照してください。

• MapReduce をローカルで実行する際の制限については、「ローカル実行と分散環境での実行の違い」を参照してください。

MR2 モデルの背景

従来の MapReduce モデルでは、各ラウンドの MapReduce 操作後、結果データを Hadoop Distributed File System (HDFS) や MaxCompute テーブルなどの分散ファイルシステムに保存する必要があります。MapReduce ワークフローは通常、複数の MapReduce ジョブで構成されます。各ジョブが完了すると、その中間データをディスクに書き込む必要があります。ただし、後続の Map タスクは、次のシャッフルステージの前に、このデータを一度読み取るだけで済む場合があります。このプロセスにより、冗長なディスク I/O 操作が発生します。

MaxCompute のコンピューティングとスケジューリングロジックは、より複雑なプログラミングモデルをサポートしています。この状況に対処するために、MaxCompute では、中間の Map 操作なしで、別の Reduce 操作の直後に Reduce 操作を実行できます。したがって、MaxCompute は、Map 操作の後に複数の Reduce 操作をチェーン化することをサポートする拡張 MapReduce モデルを提供します (例： Map > Reduce > Reduce)。

Hadoop ChainMapper および ChainReducer との比較

Hadoop ChainMapper と ChainReducer も、同様の直列化された Map または Reduce 操作をサポートしています。ただし、これらは MaxCompute の拡張 MapReduce (MR2) モデルとは根本的に異なります。

ChainMapper と ChainReducer は、従来の MapReduce モデルに基づいています。これらは、元の Map または Reduce 操作の後に 1 つ以上の Map 操作を追加することのみが可能です。Reduce 操作を追加することはできません。このアプローチの利点は、既存の Mapper ビジネスロジックを再利用して、Map または Reduce 操作を複数の Mapper ステージに分割できることです。ただし、これは基盤となるスケジューリングと I/O モデルを根本的に変更するものではありません。