DataWorks で MaxCompute タスクを開発するには、MaxCompute プロジェクトを DataWorks ワークスペースにコンピューティングリソースとして関連付け、データの同期、開発、分析を行います。
制限事項
-
リージョンの制限:中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、英国 (ロンドン)、米国 (シリコンバレー)、米国 (バージニア)。
-
MaxCompute プロジェクトと DataWorks ワークスペースは、同じリージョン、同じ Alibaba Cloud アカウントに属している必要があります。
-
権限:
製品
操作者
権限
DataWorks
Alibaba Cloud アカウント
追加の権限は不要です。
RAM ユーザー / RAM ロール
[運用保守] または [ワークスペース管理者] ロールを持つワークスペースメンバー、または
AliyunDataWorksFullAccess権限を持つメンバーのみが、コンピューティングリソースを作成できます。詳細については、「ワークスペースメンバーへの権限付与」をご参照ください。MaxCompute
RAM ユーザー / RAM ロール
コンピューティングリソースを関連付ける場合:MaxCompute の odps:ListProjects 権限、および対象の MaxCompute プロジェクトに対する Super_Administrator 権限が必要です。
デフォルトのアクセスアイデンティティの要件:このアイデンティティは、MaxCompute プロジェクトの admin または super_administrator ロールを持っている必要があります。関連付け後、プラットフォームはこのアイデンティティに本番プロジェクトの Role_Project_Scheduler ロールを付与します。
本番環境のデフォルトのアクセス ID は、すべての本番データを所有します。他のアカウントは、Security Center を通じてアクセスをリクエストする必要があります。
-
関連付けられた MaxCompute コンピューティングリソースのリージョンを確認するには、ワークスペース詳細ページに移動するか、管理センター 内の 計算リソース 一覧ページを開いて、コンピューティングリソースの詳細を表示します。詳細には MaxCompute プロジェクトのリージョンが含まれます。これにより、リージョン間の関連付けの失敗などの問題をトラブルシューティングする際に、リージョン情報をすばやく特定できます。
前提条件
-
MaxCompute がアクティブ化されており、DataWorks ワークスペースと同じリージョンにプロジェクトが作成されている必要があります。
-
DataWorks ワークスペースが作成されており、RAM ユーザーがワークスペース管理者ロールを持っている必要があります。
説明DataWorks は、シンプルモードと標準モードをサポートしています。ワークスペースを作成する前に、シンプルモードと標準モードの違いを理解してください。
-
リソースグループがワークスペースに関連付けられており、ネットワーク接続性が確認されている必要があります。
-
サーバーレスリソースグループを使用する場合は、MaxCompute コンピューティングリソースとサーバーレスリソースグループ間のネットワーク接続性を確保してください。
-
レガシー専用リソースグループを使用する場合は、MaxCompute コンピューティングリソースとスケジューリング用の専用リソースグループ間のネットワーク接続性を確保してください。
-
新しい Data Studio:コンピューティングリソースの関連付け
MaxCompute コンピューティングリソースを、データ開発 (DataStudio) (新版) パブリックプレビューへの参加するワークスペースに関連付けます。
コンピューティングリソースページへの移動
-
DataWorks コンソールにログインしてターゲットリージョンに切り替え、左側のナビゲーションバーで をクリックします。ドロップダウンリストから対応するワークスペースを選択し、管理センターへ をクリックします。
-
左側のナビゲーションペインで、計算リソース をクリックしてコンピューティングリソースページを開きます。
MaxCompute コンピューティングリソースの関連付け
[コンピューティングリソース] ページで、MaxCompute コンピューティングリソースを関連付けます。
-
コンピューティングリソースタイプを選択します。
-
計算リソースのアタッチ をクリックすると、計算リソースのアタッチ ページが開きます。
-
計算リソースのアタッチページで、コンピューティングリソースタイプとして MaxCompute を選択すると、MaxCompute 計算リソースのアタッチ設定ページが表示されます。
-
-
MaxCompute コンピューティングリソースを設定します。
MaxCompute 計算リソースのアタッチ 設定ページで、次のパラメーターを設定します。
パラメータ
説明
[MaxCompute プロジェクト]
関連付ける MaxCompute プロジェクトを選択します。内部 MaxCompute プロジェクトの作成または外部 MaxCompute プロジェクトの作成を行ってから、新しいプロジェクトを選択できます。
説明-
標準モードでは、本番環境と開発環境に別々の MaxCompute プロジェクトを選択します。
-
詳細については、「MaxCompute の課金項目と課金方法」をご参照ください。
-
対象のプロジェクトが一覧に表示されない場合は、現在のアカウントにプロジェクトの[スーパー管理者]ロールを付与します。
[デフォルトアクセス主体]
このワークスペースから MaxCompute プロジェクトにアクセスするために使用されるアイデンティティです。
-
開発環境: Executor ID のみがサポートされています。
-
本番環境: Alibaba Cloud アカウント、Alibaba Cloud RAM Sub-account、および [RAM ロール] の ID に対応しています。
説明-
Alibaba Cloud アカウントまたは [AdministratorAccess] 権限を持つプリンシパルのみが、すべてのアクセス ID を選択できます。
-
本番環境のセキュリティセンターは、すべての本番データを所有します。他のアカウントは、セキュリティセンター経由でアクセスを申請する必要があります。MaxCompute のデータアクセス制御および承認センター。
[エンドポイント]
MaxCompute プロジェクトにアクセスするためのエンドポイントです。データ転送用のサービスエンドポイントと Tunnel エンドポイントが含まれます。
-
[自動適応]:DataWorks が設定に自動的に適応します。推奨します。
-
[カスタム設定]: リージョンによって異なる MaxCompute と Tunnel のエンドポイントを手動で設定します。
[計算リソースインスタンス名]
コンピューティングリソースの一意の名前です。実行時にタスクに割り当てるリソースを選択するために使用されます。
-
-
接続性をテストします。
MaxCompute タスクの実行に使用するリソースグループを選択し、接続テスト をクリックしてアクセスを確認します。ネットワーク接続ソリューション。
説明利用可能なリソースグループがない場合は、まず サーバーレスリソースグループを追加して関連付ける してから、計算リソース ページで接続性をテストしてください。
-
OK をクリックして、関連付けを完了します。
説明-
関連付け後、データソース ページに同名の MaxCompute データソースが自動的に作成されます。
-
関連付け後、プラットフォームは、必要な権限を持つアクセスアイデンティティを MaxCompute プロジェクトに追加して、アクセスアイデンティティを承認します。承認が完了するまで、接続性テストが権限エラーで失敗する場合があります。この場合は、リソースを保存し、しばらくしてから再試行してください。
-
関連付けられた MaxCompute コンピューティングリソースの変更
関連プロジェクトの変更、バインディングの置換、設定の更新など、関連付けられた MaxCompute コンピューティングリソースを変更するには、管理センター の 計算リソース リストページに移動し、目的のコンピューティングリソースを見つけて、[編集] をクリックします。
編集ページでは、関連付けられた MaxCompute プロジェクト、デフォルトのアクセスアイデンティティ、エンドポイント、その他の設定を変更できます。
レガシー Data Studio:コンピューティングリソースの関連付け
MaxCompute コンピューティングリソースを、データ開発 (DataStudio) (新版) パブリックプレビューへの参加 しないワークスペースに関連付けます。
コンピューティングリソースページへの移動
DataStudioページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。
-
左側のナビゲーションペインで、
アイコンをクリックして、計算リソース ページを開きます。
MaxCompute コンピューティングリソースの関連付け
コンピューティングリソースページで、MaxCompute コンピューティングリソースを関連付けます。
-
コンピューティングリソースタイプを選択します。
-
データソースの作成 をクリックして データソースの作成 ページを開きます。
-
データソースの作成 ページで、コンピューティングリソースタイプとして MaxCompute を選択すると、データソースの作成 設定ページに移動します。
-
-
MaxCompute コンピューティングリソースを設定します。
データソースの作成 設定ページで、以下のパラメーターを設定します。
パラメータ
説明
[認証方式]
新しいコンピューティングリソースは、Alibaba Cloud アカウントまたは RAM ロール認証のみをサポートします。
[所属 Alibaba Cloud アカウント]
このワークスペースには、現在の Alibaba Cloud アカウント 配下の MaxCompute プロジェクトのみを関連付けることができます。
[MaxCompute プロジェクト名]
関連付ける MaxCompute プロジェクトを選択します。使用可能なプロジェクトがない場合は、MaxCompute プロジェクトの作成を行ってください。
説明-
標準モードでは、本番環境と開発環境に別々の MaxCompute プロジェクトを選択します。
-
詳細については、「MaxCompute の課金項目と課金方法」をご参照ください。
-
対象のプロジェクトが一覧に表示されない場合は、現在のアカウントにそのプロジェクトの [Super_Administrator] ロールを付与してください。
[リージョン]
MaxCompute プロジェクトのリージョンです。ワークスペースのリージョンと一致する必要があります。
[デフォルトアクセス主体]
このワークスペースからコンピューティングリソースにアクセスするために使用されるアイデンティティです。
-
開発環境:[実行者] アイデンティティのみがサポートされます。
-
本番環境:Alibaba Cloud アカウント、RAM ユーザー、RAM ロールがサポートされます。
説明-
Alibaba Cloud アカウントまたは [AdministratorAccess] 権限を持つプリンシパルのみが、すべてのアクセス ID を選択できます。
-
本番環境のセキュリティセンターは、すべての本番データを所有します。他のアカウントは、セキュリティセンター経由でアクセスを申請する必要があります。MaxCompute のデータアクセス制御および承認センター。
-
[エンドポイント]
MaxCompute プロジェクトにアクセスするためのエンドポイントです。データ転送用のサービスエンドポイントと Tunnel エンドポイントが含まれます。
-
[自動適応]: DataWorks が設定に合わせて自動的に調整します。推奨。
-
[カスタム設定]: リージョンによって異なる MaxCompute と Tunnel のエンドポイントを手動で設定します。
-
-
接続性をテストします。
MaxCompute タスクの実行に使用するリソースグループを選択し、接続テスト をクリックしてアクセスを確認します。ネットワーク接続ソリューション。
説明利用可能なリソースグループがない場合は、まず サーバーレスリソースグループを追加して関連付ける してから、計算リソース ページで接続性をテストしてください。
-
データソースを作成し、データ開発にアタッチします をクリックして、関連付けを完了します。
説明-
関連付け後、同じ名前の MaxCompute データソースが データソース ページに自動的に作成されます。
-
関連付け後、プラットフォームは、必要な権限を持つアクセスアイデンティティを MaxCompute プロジェクトに追加することで、アクセスアイデンティティを承認します。承認が完了するまで、接続性テストが権限エラーで失敗する場合があります。この場合は、リソースを保存し、しばらくしてから再試行してください。
-
関連付けられた MaxCompute コンピューティングリソースの変更
関連プロジェクトの変更、バインディングの置換、設定の更新など、関連付けられた MaxCompute コンピューティングリソースを変更するには、[Data Studio] の 計算リソース リストページに移動し、目的のコンピューティングリソースを見つけて [編集] をクリックします。
編集ページでは、関連付けられた MaxCompute プロジェクト、デフォルトのアクセスアイデンティティ、エンドポイント、その他の設定を変更できます。
次のステップ
関連付け後、DataWorks はワークスペースに MaxCompute データソースを自動的に作成します。このデータソースはデータ統合、およびデータベースノード (新しい Data Studio) またはデータベースノード (レガシー Data Studio) で使用できます。
よくある質問
-
問題:MaxCompute コンピューティングリソースでタスクを実行すると、
connect timed out, the possible reason is that the endpoint `http://service.odps.aliyun.com/api` is wrong, please check your endpointエラーが発生します。解決策:エンドポイントの設定を確認してください。リソースのリージョンに対応する VPC エンドポイントを使用してください。
-
問題:接続性をテストすると、
You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}エラーが発生します。解決策: MaxCompute プロジェクトのステータスを確認してください。 プロジェクトが [凍結] または一時停止されている場合は、MaxCompute コンソールで 削除 してください。
-
問題:DataWorks は、Alibaba Cloud アカウント間で MaxCompute プロジェクトを関連付けること、または SQL を使用してアカウント間でデータをクエリすることをサポートしていますか?
解決策:いいえ。MaxCompute コンピューティングリソースを DataWorks に関連付ける場合、DataWorks ワークスペースと同じ Alibaba Cloud アカウントに属する MaxCompute プロジェクトのみを関連付けることができます。同様に、Data Studio で SQL クエリを実行する場合、使用するコンピューティングエンジンも同じアカウントに属している必要があります。SQL を使用して MaxCompute データに直接アカウント間でアクセスすることはサポートされていません。アカウント間でデータにアクセスする必要がある場合は、代わりにデータ統合または同様のアプローチを使用してください。
-
問題:MaxCompute コンピューティングリソースはすでに関連付けられていますが、タスクを公開したり、リソースを作成したりすると、DataWorks は「コンピューティングリソースが関連付けられていません」、「ODPS 情報が見つかりません」というメッセージを表示するか、オプションがグレー表示されます。どうすればよいですか?
解決策:この問題は通常、次のいずれかの理由によって発生します。順番に確認してください。
-
システムの遅延:関連付けが完了した後、プラットフォームがアクセスアイデンティティを承認するには時間がかかります。これにより、短い遅延が発生する可能性があります。数分待ってページを更新し、再試行してください。
-
権限不足:ログオンアカウントが対象の MaxCompute プロジェクトに対する
Super_Administrator権限を持っていることを確認してください。権限が不足していると、関連付けステータスが異常または未関連付けとして表示される可能性があります。 -
関連付け設定の誤り:関連付けられた MaxCompute プロジェクト名とリージョンが正しいかどうかを確認し、DataWorks ワークスペースのリージョンおよび Alibaba Cloud アカウントと一致していることを確認してください。
-
手動での関連付けが未完了: MaxCompute 側で MaxCompute エンジンを有効化するだけでは、関連付けは完了しません。管理センターの計算リソースページで、コンピューティングリソースを手動で関連付ける必要があります。
-
接続に関する問題:開発環境の MaxCompute データソースに対して 接続テスト をクリックします。接続テストが失敗した場合は、ネットワークとエンドポイント設定を確認してください。
-
-
問題:MaxCompute コンピューティングリソースを関連付けると、DataWorks は「プロジェクトはすでに存在します」というメッセージを表示します。どうすればよいですか?
解決策:MaxCompute プロジェクトは、1 つの DataWorks ワークスペースにのみコンピューティングリソースとして関連付けることができます。このエラーは、この MaxCompute プロジェクトとエンドポイントの組み合わせに対する関連付けレコードが DataWorks にすでに存在することを示しています。この問題を解決するには、次の手順を実行します。
-
各ワークスペースの 計算リソース リストで、コンピューティングリソースがすでに存在するかどうかを確認します。すでに存在する場合、再度関連付ける必要はありません。Data Studio でタスクを作成する際に、このコンピューティングエンジンを直接選択できます。
-
設定を更新する必要がある場合は、まず既存の関連付けレコードを削除し (またはブラウザのキャッシュをクリアして再試行し)、その後コンピューティングリソースを再度関連付けてください。
-
-
問題:ワークスペースから MaxCompute コンピューティングリソースの関連付けを解除してから再度関連付けた後、関連付け解除前に作成された既存のデータ統合 (DI) タスクが読み取り専用モードで開くか、エラーが返されます。どうすればよいですか?
解決策:MaxCompute コンピューティングリソースの関連付けを解除してから再度関連付けると、同じ MaxCompute プロジェクトを関連付けた場合でも、関連付け解除前に作成された DI タスクのメタデータが破損します。典型的な症状は次のとおりです。
-
古いタスクを開くと、DataWorks はソースデータソースの接続性の問題を報告し、タスクページは読み取り専用モードに入り、編集できなくなります。
-
ブラウザコンソールは null ポインタエラーを返します。正確なメッセージは製品バージョンによって異なります。例:
Cannot read properties of undefined (reading 'type')。 -
[フィールドマッピング] セクションでは、フィールド情報の取得中であることが表示され続け、読み込みが完了しません。
古いタスクで [クローン] を使用しても、クローンされたタスクも読み取り専用モードで開かれるため、編集機能は復元されません。この問題を解決するには、同じ設定で新しい DI タスクを作成して古いタスクを置き換え、次に [運用センター] に移動して、古いタスクと新しいタスクの両方がスケジュールされないように、古いタスクがデプロイ解除されていることを確認します。
-