MySQL データソースを作成して、Dataphin が MySQL からデータを読み取ったり、MySQL にデータを書き込んだりできるようにします。このトピックでは、MySQL データソースの作成方法について説明します。
背景情報
MySQL は、構造化照会言語 (SQL) を使用してデータを保存、取得、管理する、主要なオープンソースのリレーショナルデータベース管理システムです。ウェブサイト、アプリケーション、商用製品によく使用されます。主要な関係データストレージシステムとして一般的に使用されています。
権限
データソース作成権限を持つカスタムグローバルロール、およびスーパー管理者、データソース管理者、ドメインアーキテクト、プロジェクト管理者ロールのみがデータソースを作成できます。
手順
Dataphin のホームページで、上部のメニューバーから [管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[リレーショナルデータベース] セクションの [MySQL] を選択します。
最近 MySQL を使用した場合は、[最近使用] セクションから選択することもできます。または、検索ボックスに MySQL と入力して見つけることもできます。
[MySQL データソースの作成] ページで、接続パラメーターを設定します。
データソースの基本情報を設定します。
パラメーター
説明
データソース名
データソースの名前を入力します。命名規則は次のとおりです:
名前には、漢字、文字、数字、アンダースコア (_)、ハイフン (-) を使用できます。
名前は最大 64 文字です。
データソースコード
データソースコードを設定すると、Flink SQL タスクまたは Dataphin JDBC クライアントを使用して Dataphin データソーステーブルに直接アクセスできます。迅速なアクセスのためには、
datasourcecode.tablenameまたはdatasourcecode.schema.tablenameのフォーマットを使用します。タスク実行環境に基づいてデータソースを自動的に切り替えるには、変数フォーマット${datasourcecode}.tableまたは${datasourcecode}.schema.tableを使用します。詳細については、「Dataphin データソーステーブルの開発」をご参照ください。重要データソースコードは、設定後に変更することはできません。
アセットディレクトリおよびアセットインベントリのオブジェクト詳細ページでデータをプレビューできるのは、データソースコードが設定された後のみです。
Flink SQL では、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。
バージョン
MySQL 5.1.43、MySQL 5.6/5.7、MySQL 8.0.x、MySQL 8.4.x、または RDS MySQL のみを選択できます。
重要Alibaba Cloud の MySQL データソースを使用する場合は、RDS MySQL を選択して正しく接続してください。
データソースの説明
MySQL データソースの簡単な説明。説明は最大 128 文字です。
タイムゾーン
統合タスク内の時間形式のデータは、現在のタイムゾーンに基づいて処理されます。デフォルトのタイムゾーンは [Asia/Shanghai] です。[変更] をクリックして、ターゲットのタイムゾーンを選択します。オプションは次のとおりです:
GMT: GMT-12:00、GMT-11:00、GMT-10:00、GMT-09:30、GMT-09:00、GMT-08:00、GMT-07:00、GMT-06:00、GMT-05:00、GMT-04:00、GMT-03:00、GMT-03:00、GMT-02:30、GMT-02:00、GMT-01:00、GMT+00:00、GMT+01:00、GMT+02:00、GMT+03:00、GMT+03:30、GMT+04:00、GMT+04:30、GMT+05:00、GMT+05:30、GMT+05:45、GMT+06:00、GMT+06:30、GMT+07:00、GMT+08:00、GMT+08:45、GMT+09:00、GMT+09:30、GMT+10:00、GMT+10:30、GMT+11:00、GMT+12:00、GMT+12:45、GMT+13:00、GMT+14:00。
夏時間: Africa/Cairo、America/Chicago、America/Denver、America/Los_Angeles、America/New_York、America/Sao_Paulo、Asia/Bangkok、Asia/Dubai、Asia/Kolkata、Asia/Shanghai、Asia/Tokyo、Atlantic/Azores、Australia/Sydney、Europe/Berlin、Europe/London、Europe/Moscow、Europe/Paris、Pacific/Auckland、Pacific/Honolulu。
データソース構成
ビジネスデータソースが本番環境と開発環境を区別するかどうかを指定します:
ビジネスデータソースが本番環境と開発環境を区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番環境と開発環境を区別しない場合は、[本番データソース] を選択します。
タグ
分類のためにデータソースにタグを追加できます。タグの作成方法の詳細については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを設定します。
設定が必要な接続情報は、[データソース設定] の設定によって異なります。[本番 + 開発データソース] を選択した場合は、両方の環境の接続情報を設定します。[本番データソース] を選択した場合は、本番環境の接続情報のみを設定します。
説明通常、本番データソースと開発データソースは、環境を分離し、開発アクティビティが本番データソースに影響を与えるのを防ぐために、別々に設定されます。ただし、Dataphin は、同一のパラメーター値を持つ単一のデータソースとして設定することもサポートしています。
[設定方法] には、[JDBC URL]、[ホスト]、 を選択できます。 デフォルトのメソッドは JDBC URL です。
JDBC URL 設定方法
パラメーター
説明
JDBC URL
JDBC URL のフォーマットは
jdbc:mysql://host:port/dbnameです。説明MySQL データソースのデフォルトのポートは 3306 です。
ユーザー名、パスワード
データベースの [ユーザー名] と [パスワード]。
SSL 暗号化
この機能を有効にする場合、Truststore 証明書をアップロードし、Truststore 証明書のパスワードを入力します。
ホスト設定方法
ホスト設定
パラメーター
説明
サーバーアドレス
サーバーの IP アドレスとポート番号を入力します。
[+Add] をクリックして、複数の IP アドレスとポート番号を追加します。
アイコンをクリックして、IP アドレスとポート番号を削除します。少なくとも 1 つの IP アドレスとポート番号を保持する必要があります。dbname
データベース名を入力します。
パラメーター設定
パラメーター
説明
パラメーター
パラメーター名: 既存のパラメーター名を選択するか、カスタムパラメーター名を入力します。
カスタムパラメーター名には、英字、数字、ピリオド (.)、アンダースコア (_)、ハイフン (-) のみを含めることができます。
パラメーター値: パラメーター名を選択した場合、このパラメーターは必須です。値には、英字、数字、ピリオド (.)、アンダースコア (_)、ハイフン (-) のみを含めることができます。値の長さは最大 256 文字です。
説明[+パラメーターの追加] をクリックして複数のパラメーターを追加します。
アイコンをクリックしてパラメーターを削除します。最大 30 個のパラメーターを追加できます。ユーザー名、パスワード
MySQL インスタンスにログインするためのユーザー名とパスワードです。
SSL 暗号化
この機能を有効にする場合、Truststore 証明書をアップロードし、Truststore 証明書のパスワードを入力します。
説明ホスト設定方法を選択し、後で同じデータソースに対して JDBC URL 方法に切り替えると、システムはサーバーの IP アドレスとポート番号を連結して JDBC URL フィールドに自動的に入力します。
データソースの高度な設定を構成します。
パラメーター
説明
connectTimeout
データベースの接続タイムアウト期間 (ミリ秒)。デフォルト値は 900000 ms (15 分) です。
説明JDBC URL で `connectTimeout` 値を指定した場合、その値が使用されます。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの `connectTimeout` 値は
-1で、これはタイムアウト制限がないことを示します。
socketTimeout
データベースのソケットタイムアウト期間 (ミリ秒単位)。デフォルト値は 1800000 ms (30 分) です。
説明JDBC URL で `socketTimeout` 値を指定した場合、その値が使用されます。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの `socketTimeout` 値は
-1で、これはタイムアウト制限がないことを示します。
接続再試行
データベース接続がタイムアウトした場合、システムは指定された再試行回数に達するまで自動的に接続を再試行します。最大再試行回数に達しても接続が失敗する場合、接続は失敗します。
説明デフォルトの再試行回数は 1 です。このパラメーターは 0 から 10 までの値に設定できます。
接続の再試行回数は、デフォルトで オフライン統合タスク と グローバル品質 チェックに適用されます。グローバル品質チェックを使用するには、アセット品質モジュールを有効にする必要があります。オフライン統合タスクの場合、タスクレベルで再試行回数を設定できます。
説明重複パラメーターの値のルール:
パラメーターが JDBC URL、高度な設定、およびホスト設定で指定されている場合、JDBC URL の値が優先されます。
パラメーターが JDBC URL と高度な設定の両方で指定されている場合、JDBC URL の値が優先されます。
パラメーターが高度な設定とホスト設定の両方で指定されている場合、高度な設定の値が優先されます。
[デフォルトリソースグループ] を選択します。このリソースグループは、SQL タスク、データベースの完全なオフライン移行、データプレビューなど、データソースに関連するタスクの実行に使用されます。
[接続テスト] をクリックするか、[OK] をクリックして構成を保存し、MySQL データソースを作成します。
[接続テスト] をクリックすると、システムはデータソースへの接続をテストします。[OK] をクリックすると、システムは、選択したすべてのクラスターへの接続を自動的にテストします。接続テストが失敗した場合でも、データソースを作成できます。
[接続テスト] は、Dataphin に登録され、正常に使用されている [デフォルトクラスター] または [登録済みスケジューリングクラスター] の接続をテストします。 [デフォルトクラスター] は、デフォルトで選択されており、選択解除できません。 [登録済みスケジューリングクラスター] の下にリソースグループがない場合、接続テストはサポートされていません。 接続をテストする前に、まずリソースグループを作成する必要があります。
選択されたクラスターは、現在のデータソースとのネットワーク接続性をテストするためにのみ使用され、後で関連タスクを実行するためには使用されません。
接続テストは通常 2 分未満で完了します。タイムアウトした場合は、
アイコンをクリックして具体的な理由を表示し、リトライできます。テスト結果が[接続失敗]、[接続成功]、または[警告付きで成功]のいずれであっても、システムは最終結果の生成時間を記録します。
説明デフォルトクラスターのテスト結果には、警告ありで成功、接続成功、接続失敗の3つの接続ステータスが含まれます。 Dataphin の登録済みスケジューリングクラスターのテスト結果には、接続成功と接続失敗の2つの接続ステータスのみが含まれます。
テスト結果が[接続失敗]の場合、
アイコンをクリックして具体的な失敗理由を確認できます。テスト結果が [警告付きで成功] の場合、アプリケーションクラスターの接続は成功しましたが、スケジューリングクラスターの接続は失敗したことを意味します。現在のデータソースは、データ開発と統合には使用できません。
アイコンをクリックして、ログ情報を表示できます。