Hologres のリアルタイム書き込み機能を使用して、リアルタイム データウェアハウスを構築できます。
前提条件
リーダーノードまたは変換ノードが構成されています。 詳細については、「サポートされているデータソースの種類と同期操作」をご参照ください。
背景情報
次のバージョンの Hologres データソースがサポートされています:V0.7、V0.8、V0.9、V0.10、および V1.1。
UUID データ型のフィールドは同期できません。
手順
DataStudio ページに移動します。
DataWorks コンソール にログオンします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。
DataStudio ページの [スケジュールワークフロー] ペインで、ポインターを
アイコンの上に移動し、 を選択します。または、[スケジュールワークフロー] ペインで目的のワークフローを見つけ、ワークフロー名を右クリックして、 を選択します。
[ノードの作成] ダイアログボックスで、[同期方法] パラメーターを [エンドツーエンド ETL] に設定し、[名前] パラメーターと [パス] パラメーターを構成します。
[確認] をクリックします。
リアルタイム同期ノードの構成タブで、[hologres] を [出力] セクションから右側のキャンバスにドラッグし、線を引いて Hologres ノードを構成済みの入力ノードまたは変換ノードに接続します。
[hologres] ノードをクリックします。 表示されるパネルで、パラメーターを構成します。
パラメーター
説明
データソース
DataWorks に追加した Hologres データソースの名前。 Hologres データソースのみを選択できます。
Hologres データソースがない場合は、[新しいデータソース] をクリックして [データソース] ページ ([管理センター] 内) に移動し、Hologres データソースを追加できます。 詳細については、「Hologres データソースの追加」をご参照ください。
テーブル
データを書き込む Hologres テーブルの名前。
右側の [テーブルの作成] をクリックしてテーブルを作成するか、[データプレビュー] をクリックして選択したテーブルをプレビューできます。
パーティション情報
パーティションモード
パーティションモード。 デフォルト値:[フィールド値による動的パーティション]。
Hologres テーブルがパーティションテーブルの場合は、これらのパラメーターを構成する必要があります。
パーティションフィールド値のソース
パーティションフィールド値のソース。 先祖ノードに構成されているデータソースのテーブル内のフィールドを選択できます。
パーティションフィールド名
デフォルトでは、このパラメーターはテーブルに構成されているパーティションフィールドの名前に設定されています。
パーティションフィールド値
有効な値:[列挙値] および [時間ベースの値]
このパラメーターを [列挙値] に設定すると、パーティションフィールドの値ごとにパーティションが作成されます。 リアルタイム同期ノードは、1 日あたり最大 1,000 個のフィールド値を宛先に書き込むことができます。 宛先に書き込まれるフィールド値の数が 1,000 を超えると、超過したフィールド値のパーティションは作成されず、リアルタイム同期ノードは停止します。
このパラメーターを [時間ベースの値] に設定する場合は、[ソース形式] パラメーターと [宛先形式] パラメーターも構成する必要があります。
パーティションキャッシュキューサイズ
[パーティションキャッシュキューサイズ] パラメーターの値が大きいほど、消費されるメモリが多くなります。 ソースのデータがパーティションフィールドに基づいて順序どおりでない場合は、[パーティションキャッシュキューサイズ] の値とメモリサイズを増やすことをお勧めします。
ジョブタイプ
データ書き込み操作のタイプ。 有効な値:[再生 (操作ログを再生してデータを復元)] および [挿入 (アーカイブストレージ)]。
[再生 (操作ログを再生してデータを復元)]:Hologres Writer は、ソースで実行された操作と同じ操作を宛先で実行します。 たとえば、
INSERT文を実行してソースにデータレコードを追加すると、Hologres Writer はINSERT文を実行して同じデータレコードを宛先に追加します。 ソースでUPDATE文またはDELETE文が実行されると、Hologres Writer は宛先でUPDATE文またはDELETE文を実行します。[挿入 (アーカイブストレージ)]:Hologres Writer は、宛先をストリーミングデータストレージとして使用します。
INSERT文を使用して、ソースから宛先にデータが同期されます。
書き込み競合ポリシー
データ書き込み競合の解決策。 有効な値:[上書き (上書き)] および [無視 (無視)]。
[上書き (上書き)]:Hologres Writer は、ソースから同期された新しいデータを使用して、宛先の既存のデータを上書きします。
[無視 (無視)]:Hologres Writer は、ソースから同期された新しいデータを無視し、宛先の既存のデータを保持します。
マッピング
ソースと宛先の間のフィールドマッピング。 [フィールドマッピング] をクリックして、フィールドマッピングを構成します。 リアルタイム同期ノードは、フィールドマッピングに基づいてデータを同期します。
リアルタイム同期ノードの構成タブの上部ツールバーにある
アイコンをクリックして、ノードを保存します。