Amazon RDS for MySQL 出力コンポーネントは、Amazon RDS for MySQL データソースにデータを書き込みます。他のデータソースから Amazon RDS for MySQL データソースにデータを同期する場合、ソースデータソース情報を構成した後、Amazon RDS for MySQL 出力コンポーネントのターゲットデータソースを構成する必要があります。このトピックでは、Amazon RDS for MySQL 出力コンポーネントを構成する方法について説明します。
前提条件
Amazon RDS for MySQL データソースを作成済みであること。詳細については、「Amazon RDS for MySQL データソースを作成する」をご参照ください。
Amazon RDS for MySQL 出力コンポーネントのプロパティを構成するために使用するアカウントは、データソースに対するライトスルー権限を持っている必要があります。権限がない場合は、データソース権限をリクエストする必要があります。詳細については、「データソース権限のリクエスト、更新、および返却」をご参照ください。
手順
Dataphin ホームページの上部ナビゲーションバーで、[開発] > [Data Integration] を選択します。
接続文字列:注:統合ページの上部ナビゲーションバーで、 を選択します(開発-本番モードでは、 を選択する必要があります)。
左側のナビゲーションウィンドウで、[バッチパイプライン]サーバーレス コンピューティング: をクリックし、[バッチパイプライン] リストで開発するオフラインパイプラインをクリックして、オフラインパイプラインの構成ページを開きます。
ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[出力] を選択し、右側の出力コンポーネントリストで [Amazon RDS For MySQL] コンポーネントを見つけて、キャンバスにドラッグします。
ターゲット入力、変換、またはフローコンポーネントの
アイコンをクリックしてドラッグし、現在の Amazon RDS for MySQL 出力コンポーネントに接続します。
Amazon RDS for MySQL 出力コンポーネントカードの
アイコンをクリックして、[Amazon RDS For MySQL 出力構成] ダイアログボックスを開きます。
[Amazon RDS For MySQL 出力構成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
基本設定
ステップ名
Amazon RDS for MySQL 出力コンポーネントの名前。Dataphin は自動的にステップ名を生成しますが、ビジネスシナリオに基づいて変更できます。名前は次の要件を満たしている必要があります。
中国語、英字、アンダースコア(_)、数字のみ使用できます。
長さは 64 文字以下である必要があります。
データソース
データソースのドロップダウンリストには、ライトスルー権限を持つデータソースと持たないデータソースを含む、すべての Amazon RDS for MySQL データソースが表示されます。
アイコンをクリックして、現在のデータソース名をコピーします。
ライトスルー権限のないデータソースの場合、データソースの後に [リクエスト] をクリックして、データソースのライトスルー権限をリクエストできます。詳細については、「データソース権限のリクエスト、更新、および返却」をご参照ください。
Amazon RDS for MySQL データソースがない場合は、[データソースの作成] をクリックしてデータソースを作成します。詳細については、「Amazon RDS for Amazon RDS for MySQL データソースを作成する」をご参照ください。
データベース(オプション)
テーブルが配置されているデータベースを選択します。データベースを指定しない場合は、データソースの登録時に指定されたデータベースが使用されます。
テーブル
出力データのターゲットテーブルを選択します。 キーワードを入力してテーブルを検索するか、正確なテーブル名を入力して [完全一致] をクリックします。テーブルを選択すると、システムは自動的にテーブルの状態を確認します。
アイコンをクリックして、現在選択されているテーブルの名前をコピーします。
Amazon RDS for MySQL データソースにデータ同期のターゲットテーブルがない場合は、ワンクリックテーブル作成機能を使用してターゲットテーブルをすばやく生成できます。次の手順を実行します。
[ワンクリックでテーブルを作成] をクリックします。Dataphin は、ターゲットテーブル名(デフォルトはソーステーブル名)、フィールドタイプ(最初は Dataphin フィールドに基づいて変換されます)、およびその他の情報を含む、ターゲットテーブルを作成するためのコードを自動的に照合します。
ビジネス要件に基づいてターゲットテーブルを作成するための SQL スクリプトを変更し、[作成] をクリックします。
ターゲットテーブルが作成されると、Dataphin は新しく作成されたテーブルを出力データのターゲットテーブルとして自動的に設定します。ワンクリックテーブル作成は、開発環境と本番環境でデータ同期のターゲットテーブルを作成するために使用されます。Dataphin は、デフォルトでテーブル作成の本番環境を選択します。同じ名前と構造のテーブルが本番環境に既に存在する場合は、本番環境のテーブル作成を選択する必要はありません。
説明同じ名前のテーブルが開発環境または本番環境に存在する場合、[作成] をクリックすると、テーブルが既に存在することを示すエラーが Dataphin によって報告されます。
一致する項目がない場合でも、手動で入力したテーブル名に基づいて統合を実行できます。
ロードポリシー
ターゲットテーブルにデータを書き込むためのポリシーを選択します。ロードポリシー には以下が含まれます。
[データの追加(insert Into)]:既存データを変更せずに、ターゲットテーブルの既存データにデータを追加します。主キー/制約の競合が発生した場合、ダーティデータエラーが報告されます。
[主キーの競合時に上書き(replace Into)]:主キー/制約の競合が発生した場合、システムは最初に重複する主キーを持つ古いデータの行全体を削除し、次に新しいデータを挿入します。
[主キーの競合時に更新(on Duplicate Key Update)]:主キー/制約の競合が発生した場合、システムは既存のレコードでマッピングされたフィールドのデータを更新します。
バッチ書き込みデータサイズ(オプション)
一度に書き込まれるデータのサイズです。 [バッチ書き込みレコード] も設定できます。2 つの設定済み制限のいずれかに達すると、システムはデータを書き込みます。デフォルトは 32M です。
バッチ書き込みレコード(オプション)
デフォルトは 2048 レコードです。 データを同期するとき、システムは [バッチ書き込みレコード数] と [バッチ書き込みデータサイズ] を含むパラメーターを使用してバッチ書き込み戦略を使用します。
累積データが設定された制限(つまり、バッチ書き込みデータサイズまたはレコード数制限)のいずれかに達すると、システムはデータのバッチがいっぱいになったと見なし、このデータのバッチをすぐにターゲットエンドに書き込みます。
バッチ書き込みデータサイズを 32 MB に設定することをお勧めします。バッチ挿入レコード制限については、単一レコードの実際のサイズに基づいて柔軟に調整できます。通常は、バッチ書き込みの利点を最大限に活用するために大きな値に設定します。たとえば、単一レコードのサイズが約 1 KB の場合、バッチ挿入バイトサイズを 16 MB に設定できます。この条件を考慮して、バッチ挿入レコード数を 16 MB を単一レコードサイズ 1 KB で割った結果よりも大きい値 (つまり、16,384 レコードより大きい値) に設定します。ここでは、20,000 レコードに設定されているとします。この構成では、システムはバッチ挿入バイトサイズに基づいてバッチ書き込みをトリガーし、累積データが 16 MB に達するたびに書き込み操作を実行します。
準備ステートメント(オプション)
データインポートの前にデータベースで実行される SQL スクリプト。
たとえば、継続的なサービスの可用性を確保するために、現在のステップでデータを書き込む前に、最初にターゲットテーブル Target_A を作成し、Target_A への書き込みを実行し、現在のステップでデータの書き込みが完了した後、継続的にサービスを提供するテーブル Service_B の名前を Temp_C に変更し、次に Target_A の名前を Service_B に変更し、最後に Temp_C を削除します。
完了ステートメント(オプション)
データインポート後にデータベースで実行される SQL スクリプト。
フィールドマッピング
入力フィールド
上流コンポーネントの出力に基づいて入力フィールドを表示します。
出力フィールド
出力フィールドを表示します。次の操作を実行できます。
フィールド管理:[フィールド管理] をクリックして出力フィールドを選択します。
アイコンをクリックして、[選択された入力フィールド] を [選択されていない入力フィールド] に移動します。
アイコンをクリックして、[選択されていない入力フィールド] を [選択された入力フィールド] に移動します。
一括追加:[一括追加] をクリックして、JSON、TEXT、または DDL 形式で構成します。
JSON 形式での一括構成。例:
// 例: [{ "name": "user_id", "type": "String" }, { "name": "user_name", "type": "String" }]
説明name はインポートされたフィールド名を表し、type はインポート後のフィールドタイプを表します。たとえば、
"name":"user_id","type":"String"
は、user_id という名前のフィールドをインポートし、そのフィールドタイプを String に設定することを意味します。TEXT 形式での一括構成。例:
// 例: user_id,String user_name,String
行区切り文字は各フィールドの情報を区切るために使用され、デフォルトは改行(\n)です。改行(\n)、セミコロン(;)、ピリオド(.)をサポートしています。
列区切り文字はフィールド名とフィールドタイプを区切るために使用され、デフォルトはカンマ(,)です。
DDL 形式での一括構成。例:
CREATE TABLE tablename ( id INT PRIMARY KEY, name VARCHAR(50), age INT );
新しい出力フィールドの作成:[+ 新しい出力フィールドの作成] をクリックし、プロンプトに従って [列] に入力し、[タイプ] を選択します。現在の行の構成が完了したら、
アイコンをクリックして保存します。
マッピング
上流の入力とターゲットテーブルのフィールドに基づいて、フィールドマッピングを手動で選択できます。マッピング には、[同じ行のマッピング] と [同じ名前のマッピング] が含まれます。
同じ名前のマッピング:同じ名前のフィールドをマッピングします。
同じ行のマッピング:ソーステーブルとターゲットテーブルのフィールド名が一致しないが、対応する行のデータをマッピングする必要がある場合、同じ行のフィールドをマッピングします。同じ行のフィールドのみをマッピングします。
[OK] をクリックして、[Amazon RDS For MySQL] 出力コンポーネントのプロパティ構成を完了します。