DataWorksでは、単一テーブルからMaxComputeへのデータ同期に使用するリアルタイム同期ノードのカスタムパーティション設定を構成できます。このトピックでは、カスタムパーティション設定を構成する手順について説明します。
手順 1:宛先テーブルを作成する
DataWorksコンソールにログインし、DataStudioページに移動します。 DataStudioページで、MaxComputeにデータを同期するために使用されるリアルタイム同期ノードを作成します。リアルタイム同期ノードの構成タブのキャンバスで、MaxComputeをクリックします。表示されるパネルで、使用するデータソースとリソースグループを選択し、[テーブルの作成] をクリックして、[新しいデータテーブル] ダイアログボックスに移動します。次の図に示すように、[新しいデータテーブル] ダイアログボックスの [パーティション設定の構成] セクションで、[モード] パラメーターに [カスタムパーティション] を選択します。
手順 2:カスタム変数を構成する
[新しいデータテーブル] ダイアログボックスの [パーティション設定の構成] セクションで、[カスタム変数の編集] をクリックします。[カスタム変数の編集] ダイアログボックスで、[変数の追加] をクリックし、[名前] 列に
value_col21
と入力します。編集
value_col21
変数の [アクション] 列の [編集] をクリックし、変数の値の割り当て方法を指定する式を構成します。[フィールド式] フィールドに
#{col_21}
と入力して、col_21
ソースフィールドの値をvalue_val21
変数の値として使用します。 [変数割り当て] セクションの [プレビュー結果の更新] をクリックし、#{col_21} 式の [割り当て] 列に test_value と入力します。次に、[プレビュー結果の更新] をクリックして、値の割り当て結果をプレビューします。値の割り当て結果が test_value の場合は、[OK] をクリックして、変数の構成を保存します。
組み込み関数または変数を使用してMaxComputeに書き込む値を処理する場合は、次の項目に注意する必要があります。
[フィールド式] フィールドに、組み込み関数または変数の名前を直接入力できます。ネストされた関数がサポートされています。
カスタム変数の式として定数文字列を使用する場合は、定数文字列を二重引用符(")で囲む必要があります。カスタム変数の式として定数文字を使用する場合は、定数文字を単一引用符(')で囲む必要があります。プラス記号(+)を使用して定数文字列を連結できます。
生成されたカスタム変数を使用できます。このような変数を使用する場合は、変数の名前にドル記号($)を付けます。
式では大文字と小文字が区別されます。
ソーステーブルのフィールドの名前を変数として使用できます。複数のソーステーブルが同じ宛先テーブルにマッピングされている場合は、ソースデータベース名.ソーステーブル名.フィールド名またはソースデータベース名.ソーススキーマ名.ソーステーブル名.フィールド名の形式でフィールドを指定できます。
組み込み変数は${組み込み変数の名前} の形式で、フィールドは#{フィールドの名前} の形式で指定できます。
カスタム変数に構成した式が正しくない場合、変数の値の割り当て結果をプレビューし、関連するリアルタイム同期ノードを実行すると、エラーが報告されます。たとえば、式で使用している関数または変数が正しくない場合、エラーが報告されます。リアルタイム同期ノードを実行する前に、構成済みのカスタム変数の値の割り当て結果をプレビューすることをお勧めします。
手順 3:パーティション情報を構成する
[新しいデータテーブル] ダイアログボックスの [パーティション設定の構成] セクションで、[新しいフィールド] をクリックします。表示される行の [パーティションキー列] 列に pt と入力して pt を第1レベルのパーティションとして追加し、[値] 列で [手動割り当て] に切り替え、表示されるフィールドに ${yyyyMMdd} と入力します。 ${yyyyMMdd} は、データのデータタイムスタンプが yyyyMMdd 形式に変換された後に得られた結果が使用されることを示します。
[新しいフィールド] をクリックし、[パーティションキー列] 列に val と入力して val を第2レベルのパーティションとして追加します。
アイコンをクリックして、[値] 列の [変数の選択] に切り替え、表示されるドロップダウンリストから
value_col21
を選択します。 value_col21 は、value_col21
変数の値が使用されることを示します。[確認] をクリックして宛先テーブルを作成すると、構成は完了です。