DataWorks を使用して MaxCompute タスクを開発および管理するには、MaxCompute プロジェクトを DataWorks 計算リソースとして追加する必要があります。プロジェクトを追加すると、さまざまな DataWorks モジュールでこの計算リソースを使用して MaxCompute プロジェクトに接続できます。これにより、データ同期、データ開発、データ分析などの操作を実行できます。
制限
リージョン制限: 中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深圳)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、イギリス (ロンドン)、米国 (シリコンバレー)、および米国 (バージニア)。
プロジェクトと DataWorks ワークスペースが同じリージョンにあり、同じ Alibaba Cloud アカウントに属している場合にのみ、MaxCompute プロジェクトを計算リソースとして追加できます。
権限要件:
プロダクト
オペレーター
必要な権限
DataWorks
Alibaba Cloud アカウント
追加の権限は必要ありません。
RAM ユーザー/RAM ロール
[O&M] および [ワークスペース管理者] ロール、または
AliyunDataWorksFullAccess権限を持つワークスペースメンバーのみが計算リソースを作成できます。ワークスペースの メンバーに権限を付与 できます。MaxCompute
RAM ユーザー/RAM ロール
計算リソースをアタッチする場合: MaxCompute の odps:ListProjects 権限と、ターゲット MaxCompute プロジェクトの Super_Administrator 権限が必要です。
デフォルトのアクセス ID として使用する場合: MaxCompute プロジェクトの admin または super_administrator 権限が必要です。計算リソースがアタッチされると、アカウントまたはロールは Role_Project_Scheduler ロールとして MaxCompute 本番プロジェクトに追加されます。
現在のワークスペースのすべての本番データは、計算リソースの作成時に指定した本番環境のデフォルトのアクセス ID に割り当てられます。他のアカウントが本番テーブルを操作またはアクセスする必要がある場合は、セキュリティセンター で必要な権限をリクエストする必要があります。
前提条件
DataWorks と同じリージョンで MaxCompute プロダクトをアクティベートし、MaxCompute プロジェクトを作成済みであること。
DataWorks で ワークスペースを作成 し、RAM ユーザーがワークスペースに追加され、ワークスペース管理者ロールが割り当てられていること。
説明DataWorks は、基本モードと標準モードの 2 種類のワークスペースを提供します。ワークスペースを作成する際は、「基本モードと標準モードの違い」をご参照ください。
ワークスペースにリソースグループをアタッチし、ネットワーク接続を確保済みであること。
Serverless リソースグループを使用する 場合は、MaxCompute 計算リソースと Serverless リソースグループ間のネットワーク接続が正しく機能していることを確認するだけで済みます。
古いバージョンの専用リソースグループを使用する 場合は、MaxCompute 計算リソースが関連するシナリオの 専用スケジューリングリソースグループ に接続できることを確認してください。
DataStudio: MaxCompute 計算リソースの追加
[Data Studio (新バージョン) を使用] が設定されているワークスペースに MaxCompute 計算リソースを追加します。
計算リソースページへの移動
DataWorks コンソール にログインします。ターゲットリージョンに切り替えます。左側のナビゲーションウィンドウで、 をクリックします。ドロップダウンリストからターゲットワークスペースを選択し、[管理センターへ移動] をクリックします。
左側のナビゲーションウィンドウで、[計算リソース] をクリックして、計算リソースリストページに移動します。
MaxCompute 計算リソースの追加
計算リソースリストページ で、MaxCompute 計算リソースを構成してアタッチします。
計算リソースタイプを選択します。
[計算リソースの追加] をクリックして、[計算リソースの追加] ページに移動します。
[計算リソースの追加] ページで、[MaxCompute] を選択して、[MaxCompute 計算リソースの追加] 構成ページに移動します。
MaxCompute 計算リソースを構成します。
[MaxCompute 計算リソースの追加] 構成ページで、次の表の説明に従ってパラメーターを構成します。
パラメーター
説明
MaxCompute プロジェクト
アタッチする MaxCompute プロジェクトを選択します。内部 MaxCompute プロジェクトを作成するか、外部 MaxCompute プロジェクトを作成することができます。プロジェクトが作成されたら、新しく作成されたプロジェクトを選択します。
説明標準ワークスペースである ワークスペースを作成する 場合は、本番環境と開発環境に異なる MaxCompute プロジェクトを選択してアタッチする必要があります。
MaxCompute の 課金項目と課金方法。
ターゲットの MaxCompute プロジェクトを選択できない場合は、現在のログインアカウントに [Super_Administrator] 権限を付与してください。
デフォルトアクセスアイデンティティ
現在のワークスペースで MaxCompute プロジェクトにアクセスするために使用される ID を定義します。
開発環境: [Executor] ID のみがサポートされます。
本番環境: [Alibaba Cloud アカウント]、[Alibaba Cloud RAM ユーザー]、および [Alibaba Cloud RAM ロール] ID がサポートされます。
説明Alibaba Cloud アカウントと、[AdministratorAccess] 権限を持つユーザーまたはロールのみが、すべてのアクセス ID を選択できます。
現在のワークスペースのすべての本番データは、計算リソースの作成時に指定された本番環境のデフォルトのアクセス ID によって所有されます。他のアカウントが本番テーブルを操作およびアクセスする必要がある場合は、[セキュリティセンター] で関連する権限をリクエストする必要があります。詳細については、「MaxCompute データアクセス権限コントロール」および「承認センターの概要」をご参照ください。
[エンドポイント]
DataWorks がこの計算リソースを介して MaxCompute プロジェクトにアクセスするために使用するエンドポイントを指定します。これには、MaxCompute サービスにアクセスするためのエンドポイントと、ローカルまたはクラウド計算リソースデータをアップロードおよびダウンロードするための Tunnel サービスのエンドポイントが含まれます。次の構成メソッドがサポートされています:
[自動適応]: DataWorks は実際の状況に基づいてエンドポイントを自動的に適応させます。このオプションを選択することをお勧めします。
[カスタム構成]: MaxCompute エンドポイントと Tunnel エンドポイントを手動で構成する必要があります。エンドポイント はリージョンによって異なります。
コンピューティングリソースインスタンス名
計算リソースを識別するために使用されます。タスクの実行時に、計算リソースインスタンス名を使用してタスクの計算リソースを選択します。
接続性をテストします。
[接続構成] セクションで、DataWorks が MaxCompute タスクを実行するために使用するリソースグループを選択し、[接続性のテスト] をクリックして、リソースグループが MaxCompute プロジェクトにアクセスできることを確認します。詳細については、「ネットワーク接続の概要」をご参照ください。
説明アクティブなリソースグループがない場合は、Serverless リソースグループを追加してワークスペースにアタッチ し、ワークスペースの [計算リソース] セクションから計算リソースへの接続性をテストできます。
[作成を完了] をクリックして、MaxCompute 計算リソースの構成を完了します。
説明計算リソースが追加されると、現在のワークスペースの [データソース] セクションに同じ名前の MaxCompute データソースが自動的に作成されます。
計算リソースが正常に追加されると、プラットフォームはアクセス ID に必要な権限を付与します。これは、アクセス ID アカウントが MaxCompute プロジェクトに追加され、対応する MaxCompute 権限にマッピングされることを意味します。権限付与が完了する前に、権限エラーが原因で接続性テストが失敗する場合があります。この場合は、計算リソースを保存してしばらく待ってください。
レガシーデータ開発: MaxCompute 計算リソースの追加
[Data Studio (新バージョン) を使用] に設定されていないワークスペースに MaxCompute 計算リソースをアタッチできます。
計算リソースページへの移動
DataStudio ページに移動します。
DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発へ移動] をクリックします。
左側のナビゲーションウィンドウで、
アイコンをクリックして [計算リソース] リストページに移動します。
MaxCompute 計算リソースの追加
計算リソースリストページで、パラメーターを構成して MaxCompute 計算リソースを追加します。
計算リソースタイプを選択します。
[計算リソースの作成] をクリックして、[計算リソースの作成] ページに移動します。
[計算リソースの作成] ページで、[MaxCompute] を選択して、[計算リソースの作成] 構成ページに移動します。
MaxCompute 計算リソースを構成します。
[計算リソースの作成] 構成ページで、次の表の説明に従ってパラメーターを構成します。
パラメーター
説明
[認証メソッド]
新しい計算リソースは、Alibaba Cloud アカウントまたは RAM ロールを使用してのみ認証できます。
[Alibaba Cloud アカウント]
[現在の Alibaba Cloud アカウント] 配下の MaxCompute プロジェクトのみを、現在のワークスペースの計算リソースとして追加できます。
MaxCompute プロジェクト名
アタッチする MaxCompute プロジェクトを選択します。ターゲットプロジェクトが利用できない場合は、MaxCompute プロジェクトを作成 します。
説明標準ワークスペースである ワークスペースを作成する 場合は、本番環境と開発環境に異なる MaxCompute プロジェクトを選択してアタッチする必要があります。
MaxCompute の 課金項目と課金方法。
ターゲットの MaxCompute プロジェクトを選択できない場合は、現在のログインアカウントに [Super_Administrator] 権限を付与してください。
リージョン
MaxCompute プロジェクトが配置されているリージョンを選択します。選択した MaxCompute プロジェクトが現在のワークスペースと同じリージョンにない場合、そのプロジェクトを計算リソースとして追加することはできません。
デフォルトアクセスアイデンティティ
現在のワークスペースで計算リソースにアクセスするために使用される ID を定義します。
開発環境: Executor ID のみがサポートされます。
本番環境: Alibaba Cloud アカウント、Alibaba Cloud RAM ユーザー、および Alibaba Cloud RAM ロール ID がサポートされます。
説明Alibaba Cloud アカウントと、[AdministratorAccess] 権限を持つユーザーまたはロールのみが、すべてのアクセス ID を選択できます。
現在のワークスペースのすべての本番データは、計算リソースの作成時に指定された本番環境のデフォルトのアクセス ID によって所有されます。他のアカウントが本番テーブルを操作およびアクセスする必要がある場合は、[セキュリティセンター] で関連する権限をリクエストする必要があります。詳細については、「MaxCompute データアクセス権限コントロール」および「承認センターの概要」をご参照ください。
エンドポイント
DataWorks がこの計算リソースを介して MaxCompute プロジェクトにアクセスするために使用するエンドポイントを指定します。これには、MaxCompute サービスにアクセスするためのエンドポイントと、ローカルまたはクラウド計算リソースデータをアップロードおよびダウンロードするための Tunnel サービスのエンドポイントが含まれます。次の構成メソッドがサポートされています:
[自動適応]: DataWorks は実際の状況に基づいてエンドポイントを自動的に適応させます。このオプションを選択することをお勧めします。
[カスタム構成]: MaxCompute エンドポイントと Tunnel エンドポイントを手動で構成する必要があります。エンドポイント はリージョンごとに異なります。
接続性をテストします。
[接続構成] セクションで、DataWorks が MaxCompute タスクを実行するために使用するリソースグループを選択し、[接続性のテスト] をクリックして、リソースグループが MaxCompute プロジェクトにアクセスできることを確認します。詳細については、「ネットワーク接続の概要」をご参照ください。
説明アクティブなリソースグループがない場合は、Serverless リソースグループを追加してワークスペースにアタッチ し、ワークスペースの [計算リソース] セクションから計算リソースへの接続性をテストできます。
[計算リソースを作成してデータ開発に追加] をクリックして、MaxCompute 計算リソースの構成を完了します。
説明計算リソースが追加されると、現在のワークスペースの [データソース] セクションに同じ名前の MaxCompute データソースが自動的に作成されます。
計算リソースが正常に追加されると、プラットフォームはアクセス ID に必要な権限を付与します。これは、アクセス ID アカウントが MaxCompute プロジェクトに追加され、対応する MaxCompute 権限にマッピングされることを意味します。権限付与が完了する前に、権限エラーが原因で接続性テストが失敗する場合があります。この場合は、計算リソースを保存してしばらく待ってください。
次のステップ
MaxCompute 計算リソースを追加すると、ワークスペース用に MaxCompute データソースが自動的に作成されます。このデータソースは、データ統合、および データベースノード (新しいデータ開発) または データベースノード (レガシーデータ開発) で使用できます。
よくある質問
問題: MaxCompute 計算リソースがスケジュールされると、エラーメッセージ
connect timed out, the possible reason is that the endpoint `http://service.odps.aliyun.com/api` is wrong, please check your endpointが報告されます。解決策: MaxCompute 計算リソースのエンドポイント構成を確認します。リソースが配置されているリージョンの VPC エンドポイント を入力します。
問題: 計算リソースへの接続性をテストすると、エラーメッセージ
You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}が報告されます。解決策: MaxCompute プロジェクトのステータスが通常であるかどうかを確認します。プロジェクトが凍結された [中断] 状態にある場合は、MaxCompute コンソール を使用してプロジェクトを [回復] できます。