MaxCompute データソースを作成することで、Dataphin が MaxCompute からビジネスデータを読み取ったり、MaxCompute にデータを書き込んだりできるようになります。このトピックでは、MaxCompute データソースの作成方法について説明します。
背景情報
MaxCompute は、Alibaba Cloud のビッグデータコンピューティングサービスです。これは、データ分析シナリオに適したエンタープライズレベルの Software as a Service(SaaS)クラウドデータウェアハウスです。サーバーレスアーキテクチャを備えた高速で完全に管理されたオンライン データウェアハウス サービスを提供し、リソースのスケーラビリティと弾力性における従来のデータプラットフォームの制限を排除します。ユーザーのメンテナンスコストを最小限に抑え、大量のデータを経済的かつ効率的に分析および処理できます。
制限事項
MaxCompute データソースは、外部の MaxCompute プロジェクトへのアクセスをサポートしていません。詳細については、「MaxCompute プロジェクトの概要」をご参照ください。
権限の説明
データソースの作成権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、ドメイン設計者、およびプロジェクト管理者ロールのみがデータソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーの [管理センター] > [データソース管理] をクリックします。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[ビッグデータ] セクションの [MaxCompute] を選択します。
最近 MaxCompute を使用した場合は、[最近使用した] セクションから選択することもできます。検索ボックスに MaxCompute キーワードを入力して、すばやく検索することもできます。
[MaxCompute データソースの作成] ページで、データソースへの接続パラメーターを設定します。
データソースの基本情報を構成します。
パラメーター
説明
[データソース名]
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
使用できる文字は、漢字、英大文字と小文字、数字、アンダースコア(_)、およびハイフン(-)のみです。
名前は最大 64 文字まで入力できます。
[データソースコード]
データソースコードを設定した後、
data source code.table name
またはdata source code.schema.table name
の形式で、Flink_SQL タスクまたは Dataphin JDBC クライアントを使用して Dataphin データソーステーブルに直接アクセスし、迅速に利用できます。タスク実行環境に基づいてデータソースを自動的に切り替える必要がある場合は、変数形式${data source code}.table
または${data source code}.schema.table
を使用してアクセスします。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、設定が完了した後は変更できません。
データソースコードが正常に設定されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。
[データソースの説明]
データソースの簡単な説明を入力します。説明は 128 文字を超えることはできません。
[データソース設定]
設定するデータソースを選択します。
ビジネスデータソースで本番データソースと開発データソースが区別されている場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースで本番データソースと開発データソースが区別されていない場合は、[本番データソース] を選択します。
[タグ]
タグに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース設定で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の両方について接続情報を設定する必要があります。[本番データソース] を選択した場合は、[本番データソース] の接続情報のみを設定する必要があります。
説明通常、本番データソースと開発データソースは異なるデータソースとして設定し、環境を分離して、開発データソースが本番データソースに与える影響を軽減する必要があります。ただし、Dataphin では、同じパラメーター値を使用して同じデータソースとして設定することもサポートされています。
パラメーター
説明
[エンドポイント]
MaxCompute のエンドポイント。ネットワーク環境と接続方法に基づいて適切なエンドポイントを選択します。
エンドポイントの取得方法については、「エンドポイント」をご参照ください。
[プロジェクト名]
これは MaxCompute プロジェクト名であり、DataWorks ワークスペース名ではありません。
MaxCompute コンソール にログインし、左上隅で適切なリージョンに切り替えてから、[プロジェクト管理] タブで特定の [MaxCompute プロジェクト名] を表示します。
[アクセス ID]、[アクセスキー]
MaxCompute データソースが属するアカウントの AccessKey ID と AccessKey Secret。
取得方法については、「アクセスキーの取得」をご参照ください。
[デフォルトのリソースグループ] を選択します。これは、データベース SQL、オフラインデータベースの移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] をクリックするか、[OK] を直接クリックして保存し、MaxCompute データソースの作成を完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin に正常に接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストします。ただし、選択したすべてのクラスターの接続テストが失敗した場合でも、データソースは正常に作成されます。