Log Service データソースを作成すると、Dataphin は Log Service からビジネスデータを読み取ることができるようになります。Log Service から Dataphin にビジネスデータをインポートしてデータ開発を行う必要があるシナリオでは、最初に Log Service データソースを作成する必要があります。このトピックでは、Log Service データソースの作成方法について説明します。
背景情報
Log Service は、ログ、メトリック、トレースデータのための大規模、低コスト、リアルタイムのプラットフォームを提供する Alibaba Cloud サービスです。Alibaba Cloud Log Service を使用していて、データ開発のために Dataphin に接続する場合、最初に Log Service データソースを作成する必要があります。Log Service の詳細については、「Simple Log Serviceとは」をご参照ください。
権限
データソースの作成 権限を持つカスタム グローバル ロールと、スーパー管理者、データソース管理者、ドメイン設計者、プロジェクト管理者 などのシステム ロールのみが、データソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーの [管理センター] > [データソース管理] をクリックします。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[メッセージキュー] セクションの [Log Service] を選択します。
最近 Log Service を使用したことがある場合は、[最近使用したデータソース] セクションから選択することもできます。検索ボックスにキーワードを入力して、Log Service をすばやく検索することもできます。
[Log Service データソースの作成] ページで、接続パラメータを構成します。
データソースの基本情報を構成します。
パラメーター
説明
[データソース名]
名前は次の要件を満たしている必要があります。
漢字、英字、数字、アンダースコア (_)、ハイフン (-) のみを含めることができます。
長さは 64 文字を超えることはできません。
[データソース コード]
データソースコードを構成した後、
データソースコード.テーブル名またはデータソースコード.スキーマ.テーブル名形式を使用して、Flink_SQL タスクでデータソース内のテーブルを参照できます。現在の環境に基づいて対応する環境のデータソースに自動的にアクセスする必要がある場合は、変数形式${データソースコード}.tableまたは${データソースコード}.schema.tableを使用します。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
データソースの説明
データソースの簡単な説明。128 文字を超えることはできません。
データソース構成
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別している場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別していない場合は、[本番データソース] を選択します。
[タグ]
タグを使用してデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
前の手順で [本番 + 開発データソース]手順 を選択した場合は、 の構成ページが表示されます。[本番データソース]前提条件 を選択した場合は、 の構成ページのみが表示されます。
説明ほとんどの場合、開発環境を本番環境から分離し、開発データソースが本番データソースに与える影響を軽減するために、本番データソースと開発データソースは異なるデータソースとして構成する必要があります。ただし、Dataphin では、同じパラメータ値を使用して同じデータソースとして構成することもサポートされています。
パラメーター
説明
[loghub エンドポイント]
Log Service のエンドポイント。Alibaba Cloud VPC ネットワーク内のエンドポイントを構成することをお勧めします。エンドポイントの取得方法については、「エンドポイント」をご参照ください。
重要Dataphin インスタンスと同じリージョンにある Log Service エンドポイントのみ構成できます。
[プロジェクト]
Log Service プロジェクトの名前。Log Service コンソール ページでプロジェクト名を確認できます。
[アクセス ID]、[アクセス キー]
現在のアカウントの AccessKey ID と AccessKey Secret。
取得方法については、「AccessKey ペアの作成」をご参照ください。
データベース SQL、オフラインデータベースの移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用される [デフォルトリソースグループ] を選択します。
[接続テスト] をクリックするか、[OK] をクリックして保存し、Log Service データソースの作成を完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin に正しく接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストします。ただし、選択したすべてのクラスターの接続テストが失敗した場合でも、データソースを作成できます。