AnalyticDB for MySQL 3.0 入力コンポーネントは、AnalyticDB for MySQL 3.0 データソースからデータを読み取ります。AnalyticDB for MySQL 3.0 データソースから別のターゲットデータソースにデータを同期するには、ターゲットデータソースを構成する前に AnalyticDB for MySQL 3.0 入力コンポーネントを構成する必要があります。このトピックでは、AnalyticDB for MySQL 3.0 入力コンポーネントを構成する方法について説明します。
前提条件
開始する前に、次の手順を完了してください。
AnalyticDB for MySQL 3.0 のデータソースを作成します。詳細については、「AnalyticDB for MySQL 3.0 データソースの作成」をご参照ください。
AnalyticDB for MySQL 3.0 入力コンポーネントを設定するために使用するアカウントは、データソースに対してリードスルー権限を持っている必要があります。この権限がない場合は、権限を申請する必要があります。詳細については、「データソースの権限を申請する」をご参照ください。
操作手順
Dataphin ホームページのメニューバーで、[開発] > [データ統合] を選択します。
データ統合ページのトップメニューバーで、[プロジェクト] を選択します。開発-本番モードでは、環境も選択する必要があります。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発するオフラインパイプラインをクリックします。オフラインパイプラインの構成ページが開きます。
ページの右上隅で、[コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
「コンポーネントライブラリ」パネルの左側にあるナビゲーションウィンドウで、[入力] をクリックします。右側の入力コンポーネントリストから、[AnalyticDB For MySQL 3.0] コンポーネントを見つけ、キャンバス上にドラッグします。
AnalyticDB for MySQL 3.0 入力コンポーネントカードの
アイコンをクリックして、[AnalyticDB For MySQL 3.0] [入力設定] ダイアログボックスを開きます。[AnalyticDB for MySQL 3.0 Input Configuration] ダイアログボックスで、パラメーターを設定します。
パラメーター
説明
ステップ名
AnalyticDB for MySQL 3.0 入力コンポーネントの名前。Dataphin はステップ名を自動的に生成します。ビジネスシナリオに基づいて変更できます。命名規則:
漢字、英字、アンダースコア (_)、数字のみを使用します。
64 文字を超えないようにします。
データソース
ドロップダウンリストには、すべての AnalyticDB for MySQL 3.0 データソースが表示されます。これには、リードスルー権限を持つデータソースと持たないデータソースが含まれます。
アイコンをクリックして、現在のデータソース名をコピーします。データソースのリードスルー 権限を持っていない場合は、データソースの横にある [要求] をクリックして、リードスルー 権限を要求します。詳細については、「データソースの権限を要求する」をご参照ください。
AnalyticDB for MySQL 3.0 データソースがない場合は、[新規データソース] をクリックして作成します。詳細については、「AnalyticDB for MySQL 3.0 データソースの作成」をご参照ください。「」をご参照ください。
タイムゾーン
時刻形式のデータは、現在のタイムゾーンに従って処理されます。デフォルトでは、選択したデータソースに構成されているタイムゾーンと一致します。この設定は変更できません。
説明バージョン V5.1.2 より前に作成されたタスクの場合、[データソースのデフォルト設定] または [チャネル設定のタイムゾーン] を選択できます。デフォルト選択は [チャネル設定のタイムゾーン] です。
データソースのデフォルト構成: 選択したデータソースのデフォルトのタイムゾーン。
チャネル構成タイムゾーン: [プロパティ] > [チャネル構成] で現在の統合タスクに構成されているタイムゾーン。
ソーステーブル数
ソーステーブルの数を選択します。オプションには、[単一テーブル] と [複数テーブル] があります。
単一テーブル: 1 つのソーステーブルから 1 つのターゲットテーブルにビジネスデータを同期する場合に、このオプションを使用します。
複数テーブル: 複数のソーステーブルから 1 つのターゲットテーブルにビジネスデータを同期する場合に、このオプションを使用します。複数のテーブルから 1 つのターゲットテーブルにデータを書き込む場合、システムは UNION アルゴリズムを使用します。
テーブルマッチング方法
[汎用ルール] または [データベース正規表現] を選択します。
説明このパラメーターは、ソーステーブル数で複数テーブルを選択した場合にのみ使用できます。
テーブル
ソーステーブルを選択します。
[ソーステーブル数] で [単一テーブル] を選択した場合は、テーブル名フィールドにキーワードを入力して検索します。または、正確なテーブル名を入力して [完全一致検索] をクリックします。テーブルを選択すると、システムが自動的にそのステータスをチェックします。
アイコンをクリックして、選択したテーブルの名前をコピーします。[ソーステーブル数] で [複数テーブル] を選択した場合は、選択したテーブルマッチング方法に基づいて式を入力します。
テーブルマッチングで [汎用ルール] を選択した場合: フィールドにテーブル式を入力して、同じ構造を持つテーブルをフィルターします。システムは、列挙、正規表現のような構文、および混合形式をサポートします。例:
table_[001-100];table_102;。テーブルマッチングで [データベース正規表現] を選択した場合: 現在のデータベースでサポートされている正規表現を入力します。システムは、この正規表現を使用してターゲットデータベース内のテーブルを照合します。タスク実行中、新しいテーブルは正規表現に基づいて動的に照合されます。
式を入力した後、[完全一致検索] をクリックします。[一致詳細の確認] ダイアログボックスで、一致したテーブルのリストを表示します。
分割キー (オプション)
システムは、指定した分割キー列に基づいてデータをパーティション分割します。これを同時実行設定と組み合わせて使用すると、同時読み取りが可能になります。ソースデータテーブルの任意の列を分割キーとして使用できます。最高のパフォーマンスを得るには、プライマリキーまたはインデックス付き列を使用します。
重要日時型を選択した場合、システムは全時間範囲と同時実行レベルでブルートフォースパーティション分割を実行します。これは均等な分散を保証しません。
入力フィルター (オプション)
入力フィールドのフィルター条件を入力します。例:
ds=${bizdate}。入力フィルターは次のシナリオで適用されます。データの固定サブセット。
パラメーターベースのフィルタリング。
出力フィールド
このセクションには、選択したテーブルからフィルターされたすべてのフィールドが一覧表示されます。次の操作を実行できます。
フィールド管理: ダウンストリームコンポーネントから一部のフィールドを除外するには、それらを削除します。
個々のフィールドの削除: いくつかのフィールドを削除するには、[操作] 列の
アイコンをクリックします。複数のフィールドを削除: 複数のフィールドを削除するには、[フィールド管理] をクリックします。[フィールド管理] ダイアログボックスで、複数のフィールドを選択します。選択した入力フィールドを未選択リストに移動するには、左シフト アイコン
をクリックします。バッチ 削除を完了するには、[OK] をクリックします。
一括追加: [一括追加] をクリックして、JSON、TEXT、または DDL フォーマットでフィールドを追加します。
説明一括追加後、[OK] をクリックすると、既存のフィールド構成が上書きされます。
JSON 形式の一括構成の例:
// 例: [{ "index": 1, "name": "id", "type": "int(10)", "mapType": "Long", "comment": "comment1" }, { "index": 2, "name": "user_name", "type": "varchar(255)", "mapType": "String", "comment": "comment2" }]説明indexはオブジェクトの 0ベースの列インデックスを指定し、nameはインポート後のフィールド名を指定し、typeはインポート後のフィールドのデータの型を指定します。 例として、"index":3,"name":"user_id","type":"String"は、ファイルの 4 番目の列がフィールド名user_id、データの型Stringでインポートされることを示します。TEXT 形式で設定を一括構成できます。例:
// 例: 1,id,int(10),Long,comment1 2,user_name,varchar(255),Long,comment2行区切り文字はフィールドエントリを区切ります。デフォルトでは改行 (\n) です。セミコロン (;) またはピリオド (.) も使用できます。
列区切り文字はフィールド名と型を区切ります。デフォルトではコンマ (,) です。
','も使用できます。フィールド型はオプションです。デフォルト値は','です。
DDL 形式で複数のオブジェクトを一度に構成します。例:
CREATE TABLE tablename ( user_id serial, username VARCHAR(50), password VARCHAR(50), email VARCHAR (255), created_on TIMESTAMP, );
新しい出力フィールドの追加: [+ Add Output Field] をクリックします。[列]、[タイプ]、[コメント] を入力し、[マッピングタイプ] を選択します。
アイコンをクリックして行を保存します。
[OK] をクリックして、[AnalyticDB For MySQL 3.0] 入力コンポーネントの設定を完了します。