DataHub:MaxCompute 同期の作成

事前準備

同期タスクの作成

1. DataHub で、Topic をクリックしてその詳細ページに移動します。

2. Topic 詳細ページで、右上隅にある [同期] ボタンをクリックして同期タスクを作成します。

   

3. [MaxCompute] ジョブタイプを選択して、コネクタ作成ページに移動します。

   構成項目説明:

   • パラメーター	オプション	必須	説明
     プロジェクト名	/	はい	MaxCompute プロジェクトの名前。
     スキーマ	/	いいえ	MaxCompute スキーマの名前。 説明 スキーマ機能を使用するには、スキーマ構文開発を有効化する必要があります。詳細については、「スキーマ関連操作」をご参照ください。
     テーブル	/	はい	MaxCompute テーブルの名前。 説明 Upsert モードを使用する場合、送信先テーブルはトランザクションテーブル 2.0 である必要があります。
     同期モード	追加	はい	MaxCompute 送信先テーブルにデータを追加します。
     	Upsert		プライマリキーに基づいて MaxCompute トランザクションテーブルのレコードを更新または削除します。 詳細については、このトピックの「同期モード」セクションをご参照ください。
     Upsert メソッド	SYNC_CUSTOM	同期モードを [Upsert] に設定した場合に必須です。同期モードを [追加] に設定した場合は適用されません。	upsert 操作のカスタムフィールド。
     	SYNC_NONE		すべてのデータは upsert 操作として送信先テーブルに書き込まれます。
     	SYNC_DTS		DTS から DataHub にデータが書き込まれ、新しい DTS 添付列ルールが有効になっている場合に使用されます。
     	SYNC_DTS_OLD		これは、DTS を使用して DataHub にデータを書き込み、新しい添付列ルールを有効にするシナリオに適用されます。
     プライマリキーフィールド	/		Upsert 同期モードのダウンストリームテーブルを作成する際に指定するプライマリキー列。
     Upsert 操作フィールド	/	Upsert メソッドを [SYNC_CUSTOM] に設定した場合に必須です。	操作列として STRING 列を選択します。この列は、データが upsert 操作として送信先テーブルに同期されるか、削除操作として同期されるかを示します。

     Upsert モードの詳細については、このトピックの「Upsert モード」セクションをご参照ください。

   • フィールドのインポート: DataHub は、設定に基づいて指定された列の内容を MaxCompute テーブルに同期できます。

   • パーティションモード: このモードは、データが書き込まれる MaxCompute パーティションを決定します。DataHub は次のパーティションモードをサポートしています。

     パーティションモード	パーティション基準	サポートされている Topic タイプ	説明
     USER_DEFINE	レコード内のパーティションキー列の値。この列は、MaxCompute のパーティションフィールドと同じ名前である必要があります。	TUPLE	(1) DataHub スキーマには MaxCompute パーティションフィールドが含まれている必要があります。(2) この列の値は UTF-8 文字列である必要があります。値は空にすることができ、これはデータがパーティション化されていないことを示します。
     SYSTEM_TIME	レコードが DataHub に書き込まれた時間。	TUPLE / BLOB	(1) パーティション構成で、MaxCompute パーティションの時間形式を設定します。(2) タイムゾーンを設定します。
     EVENT_TIME	レコード内の event_time(TIMESTAMP) 列の値。	TUPLE	(1) パーティション構成で、MaxCompute パーティションの時間形式を設定します。(2) タイムゾーンを設定します。
     META_TIME	レコードの __dh_meta_time__ 属性フィールドの値。	TUPLE / BLOB	(1) パーティション構成で、MaxCompute パーティションの時間形式を設定します。(2) タイムゾーンを設定します。

     SYSTEM_TIME、EVENT_TIME、および META_TIME モードは、タイムスタンプとタイムゾーン構成に基づいてデータをパーティション化します。タイムスタンプのデフォルト単位はマイクロ秒です。

   • パーティション構成: タイムスタンプに基づいてデータをパーティション化するための設定を指定します。コンソールはデフォルトで固定の MaxCompute パーティション形式を使用します。パーティション構成は次のとおりです。

     パーティション	時間形式	説明
     ds	%Y%m%d	日
     hh	%H	時
     mm	%M	分

     • パーティション間隔は、タイムスタンプを MaxCompute パーティションに変換するために使用される時間間隔を決定します。時間範囲は 15 分から 1440 分 (1 日) であり、ステップ間隔は 15 分です。

     • タイムゾーン (TimeZone): タイムスタンプに基づいてデータをパーティション化するためのタイムゾーンを指定します。

     • 区切り文字: BLOB データを同期する際、MaxCompute に同期する前にデータを分割するために 16 進数区切り文字を指定できます。たとえば、0A は 改行 (\n) を表します。

     • Base64 エンコーディング: デフォルトでは、DataHub は BLOB データをバイナリデータとして保存します。MaxCompute の対応する列は STRING 型です。したがって、コンソールで同期タスクを作成する際、データは同期前にデフォルトで Base64 エンコードされます。より多くのカスタマイズオプションについては、ソフトウェア開発キット (SDK) を使用できます。