このドキュメントでは、AnalyticDB for MySQL 3.0 Reader でサポートされているデータ型とパラメーター、およびコードレスユーザーインターフェイス (UI) とコードエディターを使用してデータ型とパラメーターを構成する方法について説明します。
AnalyticDB for MySQL 3.0 Reader を使用すると、AnalyticDB for MySQL 3.0 からデータを読み取ることができます。 AnalyticDB for MySQL 3.0 Reader は、Java Database Connectivity (JDBC) を介してリモートの AnalyticDB for MySQL 3.0 データベースに接続し、データベースからデータを選択して読み取る SELECT 文を実行します。
データ型
次の表は、AnalyticDB for MySQL 3.0 Reader でサポートされているデータ型を示します。
カテゴリー | AnalyticDB for MySQL 3.0 データ型 |
---|---|
整数 | INT、INTEGER、TINYINT、SMALLINT、BIGINT |
浮動小数点 | FLOAT、DOUBLE、DECIMAL |
文字列 | VARCHAR |
日付と時刻 | DATE、DATETIME、TIMESTAMP、TIME |
ブール値 | BOOLEAN |
パラメーター
パラメーター | 説明 | 必須 / 任意 | デフォルト値 |
---|---|---|---|
datasource | 接続名です。 追加された接続の名前と同じである必要があります。 コードエディターで接続を追加できます。 | 必須 | なし |
table | 同期するテーブルの名前です。 | 必須 | なし |
column | ソーステーブルから同期される列です。 列は JSON 配列で記述されます。 デフォルト値は [ * ] です。これはすべての列を示します。
|
必須 | なし |
splitPk | AnalyticDB for MySQL 3.0 Reader がデータを抽出するときにデータシャーディングに使用されるフィールドです。 splitPk パラメーターを指定した場合、このパラメーターで指定されたシャードキーに基づいてテーブルがシャーディングされます。 Data Integration は同時スレッドを実行してデータを同期します。
これにより効率が向上します。
|
任意 | なし |
where | WHERE 句です。 たとえば、このパラメーターを gmt_create>$bizdate に設定します。
|
任意 | なし |
コードレス UI を使用した AnalyticDB for MySQL 3.0 Reader の構成
- 接続を構成します。
同期ノードのソース接続とターゲット接続を構成します。
パラメーター 説明 接続 前述のパラメーターの datasource パラメーターです。 接続タイプを選択し、DataWorks で構成されている接続の名前を入力します。 テーブル 前述のパラメーターの説明の table パラメーターです。 フィルター 同期するデータのフィルター条件です。 現在、limit キーワードに基づくフィルタリングはサポートされていません。 SQL 構文は、選択した接続によって決まります。 シャードキー シャードキーです。 ソーステーブルの列をシャードキーとして使用できます。 プライマリキーまたはインデックス付き列を使用することを推奨します。 整数フィールドのみがサポートされています。 構成済みのシャードキーに基づいてデータシャーディングを実行する場合は、データを同時に読み取ってデータ同期の効率を向上させることができます。注 Shard Key パラメーターは、同期タスクのデータソースを設定した場合にのみ表示されます。 - フィールドのマッピング (前述のパラメーターの説明の column パラメーター) です。
左側のソーステーブルのフィールドには、右側のターゲットテーブルのフィールドと 1 対 1 のマッピングがあります。 [追加] をクリックしてフィールドを追加するか、ポインターをフィールドに合わせて、[削除] アイコンをクリックし、フィールドを削除できます。
パラメーター 説明 同じ名前でフィールドをマッピングする [同じ名前でフィールドをマッピングする] をクリックして、同じ名前のフィールド間のマッピングを確立します。 フィールドのデータ型が一致する必要があります。 同じ行にフィールドをマッピングする [同じ行にフィールドをマッピングする] をクリックして、同じ行のマッピングを確立します。 フィールドのデータ型が一致する必要があります。 すべてのマッピングを削除する [すべてのマッピングを削除する] をクリックして、確立されているマッピングを削除します。 自動レイアウト [自動レイアウト] をクリックすると、 フィールドが指定されたルールに基づいて自動的にソートされます。 フィールドを変更する [フィールドを変更する] アイコンをクリックします。 表示される [フィールドを変更する] ダイアログボックスで、ソーステーブルのフィールドを手動で編集できます。 各フィールドが 1 行になります。 最初と最後の空白行は含まれますが、他の空白行は無視されます。 追加 - フィールドを追加するには、[追加] をクリックします。 定数を入力することができます。 各定数を単一引用符で囲む必要があります。(例:'abc' 、 '123')。
- ${bizdate} などのスケジューリングパラメーターを追加できます。
- now() や count(1) などのリレーショナルデータベースでサポートされている関数を入力することができます。
- 解析できないフィールドは、Unidentified で示されます。
- チャンネル制御ポリシーを設定します。
パラメーター 説明 予測される最大同時実行数 同期ノード内のデータストレージにデータを読み書きする同時スレッドの最大数です。 コードレス UI でノードの同時実行を構成できます。 帯域幅調整 帯域幅調整を有効にするかどうかを指定します。 帯域幅調整を有効にして最大転送速度を設定することで、ソースの読み取りワークロードの過多を防止できます。 帯域幅調整を有効にして最大伝送速度を適切な値に設定することを推奨します。 許容されているダーティデータレコード 許容されているダーティデータレコードの最大数です。 リソースグループ 同期タスクを実行する際に使用されるリソースグループです。 この同期ノードを含む多数のノードがデフォルトのリソースグループにデプロイされている場合、同期ノードはリソースを待つ必要がある場合があります。 データ統合専用リソースグループを購入するか、またはカスタムリソースグループを追加することを推奨します。 詳細については、「DataWorks の排他的リソース」および「カスタムリソースグループの追加」をご参照ください。
コードエディターを使用した AnalyticDB for MySQL 3.0 Reader の構成
次のコードは、AnalyticDB for MySQL 3.0 データベースからデータを読み取るノード構成になっています。 パラメーターの詳細については、前述のパラメーターの説明をご参照ください。
{
"type": "job",
"steps": [
{
"stepType": "analyticdb_for_mysql", // リーダーのタイプ。
"parameter": {
"column": [ // 同期する列。
"id",
"value",
"table"
],
"connection": [
{
"datasource": "",// 接続名。
"table":[// 同期するテーブル名。
"xxx"
]
}
],
"where": "", // WHERE 句。
"splitPk": "", // シャードキー。
"encoding": "UTF-8" // エンコード形式。
},
"name":"Reader",
"category": "reader"
},
{// 以下のテンプレートが Stream Writer の構成に使用されます。 詳細については、対応するトピックをご参照ください。
"stepType": "stream",
"parameter": {}
"name": "Writer",
"category": "writer"
}
],
"version": "2.0",
"order": {
"hops": [
{
"from": "Reader",
"to": "Writer"
}
]
},
"setting": {
"errorLimit": {
"record":"0" // 許可されるダーティデータレコードの最大数。
},
"speed": {
"concurrent": 2,// 並行スレッドの最大数。
"throttle": false,// 帯域幅調整を有効化するかどうかを指定します。 値が false の場合は帯域幅は調整されていないことを示します。 値が true の場合は帯域幅は調整されていることを示します。 この値を true に設定した場合にのみ、最大伝送速度が有効になります。
}
}
}