PostgreSQL データソースを作成することで、Dataphin が PostgreSQL からビジネスデータを読み取ったり、PostgreSQL にデータを書き込んだりできるようになります。このトピックでは、PostgreSQL データソースを作成する方法について説明します。
権限要件
データソースの作成 権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、ボード設計者、および プロジェクト管理者 ロールのみがデータソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーから [管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[リレーショナルデータベース] セクションの [PostgreSQL] を選択します。
最近 PostgreSQL を使用したことがある場合は、[最近使用したデータソース] セクションで PostgreSQL を選択することもできます。検索ボックスにキーワードを入力して PostgreSQL をすばやく検索することもできます。
[PostgreSQL データソースの作成] ページで、データソースへの接続パラメーターを構成します。
データソースの基本情報を構成します。
パラメーター
説明
データソース名
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
漢字、英字、数字、アンダースコア (_)、およびハイフン (-) のみを含めることができます。
名前は最大 64 文字まで使用できます。
データソースコード
データソースコードを構成した後、Flink_SQL タスクで、または
data source code.table nameまたはdata source code.schema.table nameの形式で Dataphin JDBC クライアントを使用して、Dataphin データソーステーブルに直接アクセスして迅速に利用できます。タスク実行環境に基づいてデータソースを自動的に切り替える必要がある場合は、変数形式${data source code}.tableまたは${data source code}.schema.tableを使用してアクセスします。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。
データソースの説明
データソースの簡単な説明。128 文字を超えることはできません。
タイムゾーン
統合タスクの時間形式データは、現在のタイムゾーンに従って処理されます。デフォルトのタイムゾーンは [Asia/Shanghai] です。[変更] をクリックして、次のオプションからターゲットタイムゾーンを選択します。
[GMT]: [GMT-12:00]、[GMT-11:00]、[GMT-10:00]、[GMT-09:30]、[GMT-09:00]、[GMT-08:00]、[GMT-07:00]、[GMT-06:00]、[GMT-05:00]、[GMT-04:00]、[GMT-03:00]、[GMT-03:00]、[GMT-02:30]、[GMT-02:00]、[GMT-01:00]、[GMT+00:00]、[GMT+01:00]、[GMT+02:00]、[GMT+03:00]、[GMT+03:30]、[GMT+04:00]、[GMT+04:30]、[GMT+05:00]、[GMT+05:30]、[GMT+05:45]、[GMT+06:00]、[GMT+06:30]、[GMT+07:00]、[GMT+08:00]、[GMT+08:45]、[GMT+09:00]、[GMT+09:30]、[GMT+10:00]、[GMT+10:30]、[GMT+11:00]、[GMT+12:00]、[GMT+12:45]、[GMT+13:00]、[GMT+14:00]。
[夏時間]: [Africa/Cairo]、[America/Chicago]、[America/Denver]、[America/Los_Angeles]、[America/New_York]、[America/Sao_Paulo]、[Asia/Bangkok]、[Asia/Dubai]、[Asia/Kolkata]、[Asia/Shanghai]、[Asia/Tokyo]、[Atlantic/Azores]、[Australia/Sydney]、[Europe/Berlin]、[Europe/London]、[Europe/Moscow]、[Europe/Paris]、[Pacific/Auckland]、[Pacific/Honolulu]。
データソース構成
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別している場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別していない場合は、[本番データソース] を選択します。
タグ
タグを使用してデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
費用対効果:メディア設定を構成する:構成をテストする:本番データソースデータソース構成で を選択した場合は、 両方の接続情報を構成する必要があります。 を選択した場合は、 の接続情報のみを構成する必要があります。
説明通常、本番データソースと開発データソースは別々のデータソースとして構成し、開発データソースと本番データソース間の環境を分離することで、開発データソースが本番データソースに与える影響を軽減する必要があります。ただし、Dataphin では、同じパラメーター値を使用して同じデータソースとして構成することもサポートされています。
[構成方法] には、[JDBC URL] または [ホスト] を選択できます。デフォルトの選択は JDBC URL です。
JDBC URL 構成方法
パラメーター
説明
JDBC URL
接続アドレスの形式は
jdbc:postgresql://host:port/dbnameです。スキーマ
ユーザー名に関連付けられたスキーマを入力します。
ユーザー名、パスワード
データベースのユーザー名とパスワードを入力します。
ホスト構成方法
ホスト構成方法
パラメーター
説明
サーバーアドレス
サーバーの IP アドレスとポート番号を入力します。
[+追加] をクリックして複数の IP アドレスとポート番号のセットを追加し、
アイコンをクリックして余分な IP アドレスとポート番号を削除できますが、少なくとも 1 セットは残す必要があります。dbname
データベース名を入力します。
パラメーター構成
パラメーター
説明
パラメーター
パラメーター名: 既存のパラメーター名を選択するか、カスタムパラメーター名を入力できます。
カスタムパラメーター名には、大文字と小文字、数字、ピリオド (.)、アンダースコア (_)、およびハイフン (-) のみを含めることができます。
パラメーター値: パラメーター名を選択すると、パラメーター値が必要になります。大文字と小文字、数字、ピリオド (.)、アンダースコア (_)、およびハイフン (-) のみを含めることができ、長さは 256 文字を超えることはできません。
説明[+パラメーターの追加] をクリックして複数のパラメーターを追加し、
アイコンをクリックして余分なパラメーターを削除できます。最大 30 個のパラメーターを追加できます。スキーマ
ユーザー名に関連付けられたスキーマ情報を入力する必要があります。
ユーザー名、パスワード
データベースのユーザー名とパスワードを入力します。
説明構成方法が [ホスト] に設定されていて、データソースの作成が完了している場合、JDBC URL 構成方法に切り替える必要がある場合、システムはサーバーの IP アドレスとポート番号を連結して JDBC URL に入力します。
データソースの高度な設定を構成します。
パラメーター
説明
connectTimeout
データベースの connectTimeout 期間 (秒単位)。デフォルトは 900 秒 (15 分) です。
説明JDBC URL に connectTimeout 構成がある場合、connectTimeout は JDBC URL で構成されたタイムアウト期間になります。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの connectTimeout は
-1で、タイムアウト制限がないことを意味します。
socketTimeout
データベースの socketTimeout 期間 (秒単位)。デフォルトは 1800 秒 (30 分) です。
説明JDBC URL に socketTimeout 構成がある場合、socketTimeout は JDBC URL で構成されたタイムアウト期間になります。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの socketTimeout は
-1で、タイムアウト制限がないことを意味します。
接続再試行回数
データベース接続がタイムアウトした場合、設定された再試行回数に達するまで自動的に再接続が試行されます。最大再試行回数に達しても接続に失敗した場合は、接続は失敗します。
説明デフォルトの再試行回数は 1 で、0 ～ 10 の値を構成できます。
接続再試行回数は、デフォルトで オフライン統合タスク と グローバル品質 に適用されます (アセット品質機能モジュールを有効にする必要があります)。オフライン統合タスクでは、タスクレベルの再試行回数を個別に構成できます。
説明重複パラメーター 値のルール:
パラメーターが JDBC URL、高度な設定 パラメーター、および ホスト構成 方法のパラメーター構成に同時に存在する場合、JDBC URL の値が優先されます。
パラメーターが JDBC URL と 高度な設定 パラメーターに同時に存在する場合、JDBC URL の値が優先されます。
パラメーターが 高度な設定 パラメーターと ホスト構成 方法のパラメーター構成に同時に存在する場合、高度な設定 パラメーター構成の値が優先されます。
現在のデータソースに関連するタスク (データベース SQL、オフラインデータベース移行、データプレビューなど) を実行するために使用される [デフォルトリソースグループ] を選択します。
[接続テスト] を実行するか、[OK] をクリックして PostgreSQL データソースの作成を保存して完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin と正常に接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストしますが、選択したすべてのクラスターの接続に失敗した場合でも、データソースは正常に作成されます。
[接続テスト] は、[デフォルトクラスター]、または Dataphin に登録されていて正常に使用されている [登録済みのスケジューリングクラスター] の接続をテストします。[デフォルトクラスター] はデフォルトで選択されており、選択解除できません。[登録済みのスケジューリングクラスター] の下にリソースグループがない場合、接続テストはサポートされていません。接続をテストする前に、まずリソースグループを作成する必要があります。
選択したクラスターは、現在のデータソースとのネットワーク接続をテストするためにのみ使用され、後で関連タスクを実行するために使用されるわけではありません。
接続テストには通常 2 分もかかりません。タイムアウトした場合は、
アイコンをクリックして具体的な理由を確認し、再試行できます。テスト結果が [接続失敗]、[接続成功]、または [警告付きで成功] のいずれであっても、システムは最終結果の生成時間を記録します。
説明[デフォルトクラスター] のテスト結果のみ、[警告付きで成功]、[接続成功]、[接続失敗] の 3 つの接続ステータスが含まれます。Dataphin の [登録済みのスケジューリングクラスター] のテスト結果には、[接続成功] と [接続失敗] の 2 つの接続ステータスのみが含まれます。
テスト結果が [接続失敗] の場合は、
アイコンをクリックして具体的な失敗理由を確認できます。テスト結果が [警告付きで成功] の場合、アプリケーションクラスターの接続は成功したが、スケジューリングクラスターの接続は失敗したことを意味します。現在のデータソースは、データ開発と統合に使用できません。
アイコンをクリックしてログ情報を確認できます。