MaxCompute:概要

MaxCompute データ型

Java データ型

BIGINT

LONG

STRING

STRING

DOUBLE

DOUBLE

BOOLEAN

BOOLEAN

DATETIME

DATE

DECIMAL

BIGDECIMAL

メソッド

説明

void cleanup(TaskContext context)

Map ステージの最後に map メソッドの後に呼び出されるメソッド。

void map(long key, Record record, TaskContext context)

入力テーブルのレコードを処理します。

void setup(TaskContext context)

Map ステージの最初に map メソッドの前に呼び出されるメソッド。

メソッド

説明

void cleanup( TaskContext context)

Reduce ステージの最後に reduce メソッドの後に呼び出されるメソッド。

void reduce(Record key, Iterator<Record > values, TaskContext context)

入力テーブルのレコードを処理します。

void setup( TaskContext context)

Reduce ステージの最初に reduce メソッドの前に呼び出されるメソッド。

メソッド

説明

TableInfo[] getOutputTableInfo()

出力テーブルに関する情報を取得します。

Record createOutputRecord()

デフォルトの出力テーブルのレコードを作成します。

Record createOutputRecord(String label)

指定されたラベルの出力テーブルのレコードを作成します。

Record createMapOutputKeyRecord()

Map ステージで生成されるキーと値のペアのキーのレコードを作成します。

Record createMapOutputValueRecord()

Map ステージで生成されるキーと値のペアの値のレコードを作成します。

void write(Record record)

デフォルトの出力テーブルにレコードを書き込みます。このメソッドは、Reduce ステージで複数回呼び出すことができます。

void write(Record record, String label)

指定されたラベルの出力テーブルにレコードを書き込みます。このメソッドは、Reduce ステージで複数回呼び出すことができます。

void write(Record key, Record value)

レコードをキーと値のペアに変換します。このメソッドは、Map ステージで複数回呼び出すことができます。

BufferedInputStream readResourceFileAsStream(String resourceName)

ファイルリソースを読み取ります。

Iterator<Record > readResourceTable(String resourceName)

テーブルリソースを読み取ります。

Counter getCounter(Enum<? > name)

指定された名前のカウンターを取得します。

Counter getCounter(String group, String name)

指定されたグループ内の指定された名前のカウンターを取得します。

void progress()

ハートビート情報を MapReduce フレームワークに送信します。タスクがデータの処理に長時間かかり、この期間中にフレームワークを呼び出す必要がない場合は、このメソッドを呼び出してタスクのタイムアウトを回避できます。タスクのデフォルトのタイムアウト期間は 600 秒です。

メソッド

説明

void setResources(String resourceNames)

現在のジョブで使用されるリソースを宣言します。マッパーまたはレデューサーは、TaskContext オブジェクトで宣言されているリソースのみを読み取ることができます。

void setMapOutputKeySchema(Column[] schema)

マッパーからレデューサーに渡されるキーの属性を設定します。

void setMapOutputValueSchema(Column[] schema)

マッパーからレデューサーに渡される値の属性を設定します。

void setOutputKeySortColumns(String[] cols)

マッパーからレデューサーに渡されるキーをソートするための列を設定します。

void setOutputGroupingColumns(String[] cols)

キーをグループ化するための列を設定します。

void setMapperClass(Class<? extends Mapper > theClass)

ジョブのマッパーを設定します。

void setPartitionColumns(String[] cols)

ジョブのパーティションキー列を設定します。デフォルトでは、パーティションキー列は、マッパーによって生成されるキーのすべての列です。

void setReducerClass(Class<? extends Reducer > theClass)

ジョブのレデューサーを設定します。

void setCombinerClass(Class<? extends Reducer > theClass)

ジョブのコンバイナーを設定します。コンバイナーは、同じキーを持つレコードを結合します。レデューサーに似ていますが、Map ステージで動作します。

void setSplitSize(long size)

分割サイズを MB 単位で設定します。デフォルトの分割サイズは 256 MB です。

void setNumReduceTasks(int n)

Reduce タスクの数を設定します。デフォルトでは、Reduce タスクの数は Map タスクの数の 4 分の 1 です。

void setMemoryForMapTask(int mem)

Map タスクのワーカーが使用できるメモリを MB 単位で設定します。デフォルトのメモリサイズは 2048 MB です。

void setMemoryForReduceTask(int mem)

Reduce タスクのワーカーが使用できるメモリを MB 単位で設定します。デフォルトのメモリサイズは 2048 MB です。

メソッド

説明

static RunningJob runJob(JobConf job)

ブロッキング（同期）モードで MapReduce ジョブを送信し、ジョブが完了するまで待ってから戻ります。

static RunningJob submitJob(JobConf job)

非ブロッキングモードで MapReduce ジョブを送信し、RunningJob オブジェクトを返します。

メソッド

説明

String getInstanceID()

ジョブインスタンスの ID を取得します。ジョブインスタンス ID を使用して、操作ログを表示したり、ジョブを管理したりできます。

boolean isComplete()

ジョブが完了したかどうかを確認します。

boolean isSuccessful()

ジョブインスタンスが成功したかどうかを確認します。

void waitForCompletion()

ジョブインスタンスが終了するのを待ちます。このメソッドは、同期モードで送信されるジョブに使用されます。

JobStatus getJobStatus()

ジョブインスタンスの実行ステータスを確認します。

void killJob()

現在のジョブを終了します。

Counters getCounters()

カウンター情報を取得します。

メソッド

説明

static void addTable(TableInfo table, JobConf conf)

タスクに入力テーブルを追加します。このメソッドは複数回呼び出すことができます。新しいテーブルは入力キューに追加されます。

static void setTables(TableInfo [] tables, JobConf conf)

タスクに複数の入力テーブルを追加します。

メソッド

説明

static void addTable(TableInfo table, JobConf conf)

タスクに出力テーブルを追加します。このメソッドは複数回呼び出すことができます。新しいテーブルは出力キューに追加されます。

static void setTables(TableInfo[] tables, JobConf conf)

タスクに複数の出力テーブルを追加します。