Databricks データソースを作成することで、Dataphin が Databricks からビジネスデータを読み取ったり、Databricks にデータを書き込んだりできるようになります。このトピックでは、Databricks データソースを作成する方法について説明します。
権限要件
データソースの作成権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、ドメインアーキテクト、およびプロジェクト管理者ロールのみが、データソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーから [管理ハブ] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[ビッグデータ] セクションの [Databricks] を選択します。
最近 Databricks を使用したことがある場合は、[最近使用したデータソース] セクションで Databricks を選択することもできます。また、検索ボックスに Databricks のキーワードを入力して、すばやく見つけることもできます。
[Databricks データソースの作成] ページで、データソースへの接続パラメーターを構成します。
データソースの基本情報を構成します。
パラメーター
説明
[データソース名]
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
中国語、英字、数字、アンダースコア（_）、またはハイフン（-）のみを含めることができます。
名前は最大 64 文字まで使用できます。
[データソースコード]
データソースコードを構成すると、
data source code.table nameまたはdata source code.schema.table nameの形式で、Flink_SQL タスクまたは Dataphin JDBC クライアントを使用して Dataphin データソーステーブルに直接アクセスして迅速に利用できます。タスク実行環境に基づいてデータソースを自動的に切り替える必要がある場合は、変数形式${data source code}.tableまたは${data source code}.schema.tableを使用してアクセスします。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。
[バージョン]
現在、バージョン 2.6.40 のみがサポートされています。
データソースの説明
Databricks データソースの簡単な説明。説明は 128 文字を超えることはできません。
タイムゾーン
統合タスクの時間形式データは、現在のタイムゾーンに従って処理されます。デフォルトのタイムゾーンは [GMT+00:00] です。[変更] をクリックして、対象のタイムゾーンを選択します。オプションは次のとおりです。
[GMT]: [GMT-12:00]、[GMT-11:00]、[GMT-10:00]、[GMT-09:30]、[GMT-09:00]、[GMT-08:00]、[GMT-07:00]、[GMT-06:00]、[GMT-05:00]、[GMT-04:00]、[GMT-03:00]、[GMT-03:00]、[GMT-02:30]、[GMT-02:00]、[GMT-01:00]、[GMT+00:00]、[GMT+01:00]、[GMT+02:00]、[GMT+03:00]、[GMT+03:30]、[GMT+04:00]、[GMT+04:30]、[GMT+05:00]、[GMT+05:30]、[GMT+05:45]、[GMT+06:00]、[GMT+06:30]、[GMT+07:00]、[GMT+08:00]、[GMT+08:45]、[GMT+09:00]、[GMT+09:30]、[GMT+10:00]、[GMT+10:30]、[GMT+11:00]、[GMT+12:00]、[GMT+12:45]、[GMT+13:00]、[GMT+14:00]。
[夏時間]: [Africa/Cairo]、[America/Chicago]、[America/Denver]、[America/Los_Angeles]、[America/New_York]、[America/Sao_Paulo]、[Asia/Bangkok]、[Asia/Dubai]、[Asia/Kolkata]、[Asia/Shanghai]、[Asia/Tokyo]、[Atlantic/Azores]、[Australia/Sydney]、[Europe/Berlin]、[Europe/London]、[Europe/Moscow]、[Europe/Paris]、[Pacific/Auckland]、[Pacific/Honolulu]。
データソース構成
ビジネスデータソースが本番データソースと開発データソースを区別するかどうかによって異なります。
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
[タグ]
タグを追加することで、データソースを分類できます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の接続情報を構成する必要があります。 データソース構成が [本番データソース] の場合は、[本番データソース] の接続情報のみを構成する必要があります。
説明通常、本番データソースと開発データソースは異なるデータソースとして構成し、開発データソースと本番データソース間の環境を分離することで、開発データソースが本番データソースに与える影響を軽減する必要があります。ただし、Dataphin では、同じパラメーター値を使用して同じデータソースとして構成することもサポートされています。
パラメーター
説明
[サーバーアドレス]
サーバーの IP アドレスとポート番号を入力します。サポートされているサーバーアドレスは 1 つだけです。複数のアドレスを追加することはできません。
[パラメーターチェック] (オプション)
[+パラメーター構成] をクリックして、[パラメーター名] とそれに対応する [パラメーター値] を入力できる行を追加します。対応する行の後の
アイコンをクリックすると、パラメーターを削除できます。パラメーター名と値には、大文字と小文字、数字、ピリオド（.）、アンダースコア（_）、およびハイフン（-）を含めることができます。長さは 256 文字を超えることはできません。
[認証メカニズム]
トークンベースの認証: パーソナルトークンに基づく認証。
M2M ベースの認証：サービスプリンシパルに基づく認証。
[カタログ]
ユーザー名に関連付けられたカタログを入力します。
[スキーマ]
ユーザー名に関連付けられたスキーマを入力します。
ユーザー名、パスワード
認証ユーザーのユーザー名とパスワード（または認証情報）を入力します。タスクが正しく実行されるように、ユーザーに必要なデータ権限があることを確認してください。
[HTTP パス]
/sql/1.0/warehouses/warehouses_idの形式で HTTP パスを入力します。[接続再試行]
データベース接続がタイムアウトした場合、システムは指定されたリトライ回数に達するまで接続を自動的に再試行します。最大リトライ回数後も接続に失敗した場合、接続は失敗とみなされます。
説明デフォルトの再試行回数は 1 です。0 ～ 10 の値を設定できます。
注:グローバル品質接続リトライ回数は、デフォルトで と （アセット品質機能モジュールが有効になっている必要があります）に適用されます。オフライン統合タスクでは、タスクレベルのリトライ回数を個別に構成できます。
[デフォルトのリソースグループ] を選択します。これは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] を実行するか、[OK] をクリックして Databricks データソースの作成を保存して完了します。
[接続テスト] をクリックして、データソースが Dataphin に正常に接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストします。ただし、選択したすべてのクラスターの接続テストに失敗した場合でも、データソースは正常に作成されます。