MaxCompute は、すぐに実行できる MapReduce サンプルプログラムを提供しており、コードをゼロから記述することなく、環境の検証や、基本的な単語の頻度カウントから複数データセットの結合までのコアパターンを学習できます。
利用可能なサンプル
サンプルは複雑さの順に並んでいます。まず WordCount から始めて環境が機能することを確認し、自信がついたら Pipeline と Join を試してください。
|
サンプル |
機能 |
複雑さ |
|
入力データ内の各単語の出現回数をカウントします。MapReduce の典型的な開始点です。 |
初級 |
|
|
複数の MapReduce ジョブを連続して連結し、あるジョブの出力を次のジョブの入力として渡します。 |
中級 |
|
|
reduce-side join パターンを使用して、共通キーで 2 つのデータセットを結合します。 |
中級 |
サンプルの仕組み
各サンプルは、同じエンドツーエンドのフローに従います：
入力データを準備し、MaxCompute ストレージにアップロードします。
サンプルコードをコンパイルしてパッケージ化し、JAR ファイルを作成します。
MaxCompute クライアント (
odpscmd) または Java SDK を使用してジョブをサブミットします。ジョブが完了したら、出力を取得して確認します。
各サンプルのページには、すべてのコマンド、期待される出力、およびデータ形式に関する注記が記載されています。
前提条件
開始する前に、以下のものが用意されていることを確認してください：
AccessKey ID (AK ID) と AccessKey Secret (AK Secret) が設定された MaxCompute プロジェクト
インストールおよび設定済みの MaxCompute クライアント (
odpscmd)、または開発環境にセットアップ済みの Java SDKMaxCompute Java SDK がダウンロードされ、プロジェクトの依存関係に追加済みであること