このトピックでは、MaxCompute の 2024 年の製品発表について説明します。これには、プロジェクト開発の効率を向上させるための新機能、構文の更新、権限の変更が含まれます。
2024年12月23日:MaxFrame が新しいリージョンをサポート
MaxCompute ユーザーの皆様へ
MaxCompute の分散コンピューティングフレームワークである MaxFrame は、2024年12月23日 (月曜日) (北京時間、UTC+8) より、シンガポール、日本 (東京)、インドネシア (ジャカルタ) リージョンで利用可能になります。
MaxFrame は、Alibaba Cloud が自社開発した分散コンピューティングフレームワークです。Python プログラミングインターフェイスをサポートし、MaxCompute の計算リソースとデータインターフェイスを直接使用します。MaxFrame は Pandas および XGBoost インターフェイスと互換性があり、分散処理を自動的に処理するため、Python 開発者は MaxCompute 上で大規模なデータ処理、ML/AI データの前処理、モデル開発を効率的に実行できます。詳細については、「MaxFrame:分散 AI コンピュートエンジン」をご参照ください。
ご質問やサポートが必要な場合は、MaxCompute 開発者コミュニティ (DingTalk グループ ID:11782920)、専用の DingTalk グループ、または公式の MaxFrame ユーザーサポートグループ (DingTalk グループ ID:37130012987) までお問い合わせください。
ありがとうございます。
2024年11月28日:MaxCompute サービスレベルアグリーメント (SLA) の更新
MaxCompute ユーザーの皆様へ
Alibaba Cloud は、ビッグデータコンピューティングサービスである MaxCompute のサービスレベルアグリーメント (SLA) を更新します。主な変更点は以下の通りです。
第 1.1 項から第 1.10 項にサービス利用不可を定義する条項を追加。
第 1.11 項に例外条項 (k)、(l)、(m) を追加。
詳細については、「MaxCompute サービスレベルアグリーメント」をご参照ください。
新しいサービスレベルアグリーメント (SLA) は、2025年1月1日 (水曜日) (UTC+8) に発効します。ご不明な点がございましたら、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
今後とも Alibaba Cloud をご愛顧賜りますようお願い申し上げます。
2024年11月14日:MaxCompute LogView のセキュリティアップグレード
MaxCompute ユーザーの皆様へ
MaxCompute は、2024年12月2日 (月曜日) 14:00 (UTC+8) より、LogView の包括的なセキュリティアップグレードを順次展開します。このアップグレードは、中国 (香港)、中国 (上海) 金融、中国 (北京) 金融 (招待制プレビュー)、中国 (北京) Gov 1、中国 (深セン) 金融、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、イギリス (ロンドン)、米国 (シリコンバレー)、米国 (バージニア)、UAE (ドバイ)、サウジアラビア (リヤド - パートナー運営) の各リージョンに段階的に展開されます。アップグレード後、DataWorks の DataStudio またはデータ分析からパブリックスケジューリングリソースグループを使用して送信されたジョブの LogView リンクは、MaxCompute コンソールにリダイレクトされます。ジョブの LogView にアクセスするには、次の要件を満たす必要があります。
実名認証済みの有効な Alibaba Cloud アカウントを持っていること。
ジョブが実行される MaxCompute プロジェクトのメンバーであること。プロジェクト管理者がユーザーをプロジェクトに追加できます。
そのため、DataWorks ワークスペースの MaxCompute データソースに設定されたアクセス ID がユーザー ID と異なる場合、送信したジョブの LogView にアクセスできない可能性があることにご注意ください。これは、ジョブを所有する MaxCompute プロジェクトのメンバーではないためです。たとえば、標準モードの DataWorks ワークスペースで、開発環境から本番環境にジョブを送信した場合、本番環境の MaxCompute プロジェクトのメンバーでなければ、その LogView にはアクセスできません。
この問題を回避するには、次のことを確認してください。
LogView にアクセスする必要があるすべてのチームメンバーが、実名認証済みの Alibaba Cloud アカウントを持っていること。
チームメンバーを関連する MaxCompute プロジェクトに速やかに追加し、特定のオブジェクトに対する必要な権限を付与すること。
説明ユーザー管理と権限付与の詳細については、「ユーザー計画と管理」および「MaxCompute の権限」をご参照ください。
さらに、アップグレード後、LogView はデフォルトでジョブの実行結果を表示しなくなります。
アップグレード中またはアップグレード後に、LogView のアクセスや権限設定に関する問題が発生した場合、またはテクニカルサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年11月13日:MaxCompute のジョブインテリジェント診断
MaxCompute ユーザーの皆様へ
MaxCompute は、2024年11月13日 (水曜日) (UTC+8) より、すべてのリージョンでジョブのインテリジェント診断を段階的に展開します。この機能は、SQL ジョブの実行詳細を分析して、以下のことを行います。
失敗したジョブの場合:エラーメッセージに基づいて失敗の原因を特定し、推奨される解決策とともに詳細な説明を提供します。
実行が遅いジョブの場合:リソース使用量と実行詳細を分析して、リソース不足、データスキュー、データ肥大化、モードのロールバックなどの例外を診断し、それぞれの根本原因と解決策を提供します。
この機能により、ジョブの失敗や予期しないランタイムなどの問題を迅速に特定し、解決することができます。詳細と使用方法については、「ジョブのインテリジェント診断」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。
2024年10月30日:MaxCompute トンネルのアップグレードとクロスリージョントラフィックガバナンス
2024年11月18日 (月曜日) (UTC+8) より、MaxCompute はトンネルサービスの段階的なアップグレードを開始し、クロスリージョントラフィックガバナンスを実装します。主な変更点は以下の通りです。
トンネルのパフォーマンスとトラフィック制御の向上
Streaming Tunnel の場合、単一スロットの書き込みスループット制限は 1 MB/s から 10 MB/s に増加し、リクエスト制限はスロットあたり毎秒 10 リクエストから 100 リクエストに引き上げられます。Batch Tunnel の場合、単一スロットの書き込みスループット制限は 10 MB/s になりました。
Streaming Tunnel のスロット使用量の計算が最適化されました。StreamUploadSession を作成する際に指定された数のスロットを予約する代わりに、RecordPack が書き込まれると 1 つのスロットが消費され、完了するとすぐに解放されるようになりました。これは Batch Tunnel で使用される計算方法と一致します。詳細については、「トンネルの概要」をご参照ください。
クロスリージョントラフィックガバナンス
セキュリティを強化するため、MaxCompute はプロジェクトのリージョン外のエンドポイントから MaxCompute プロジェクトへの接続を禁止します。プロジェクトのリージョンに固有のエンドポイントまたはトンネルエンドポイントを使用する必要があります。利用可能なエンドポイントのリストについては、「エンドポイント」をご参照ください。
ご不明な点やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティの DingTalk グループ (ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年10月28日:パーティション変換による UPDATE/DELETE/MERGE INTO の動作変更
MaxCompute ユーザーの皆様へ
2024年10月24日 (木曜日) (UTC+8) をもって、MaxCompute はクエリパフォーマンスを向上させるため、すべての DML 操作に対して動的から静的へのパーティション変換の最適化をデフォルトで有効にしました。この最適化は、UPDATE/DELETE/MERGE INTO 操作の動作に影響します。存在しないパーティションに対してこれらの操作のいずれかを実行すると、操作は失敗し、次のようなエラーが返されるようになります。
ODPS-0110061: Failed to run ddltask - Operation DELETE expect target partition exist, but object not found.ODPS-0422141: Partition not found - Partition 'projectName.tableName(pt=xxx)' does not exist.
この問題が発生した場合、セッションレベルで SET odps.optimizer.cbo.rule.filter.black=re; コマンドを実行することで、この最適化を無効にできます。その後、以前と同様に UPDATE/DELETE/MERGE INTO 操作を実行できます。
ご質問やサポートが必要な場合は、非公開の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年10月22日:MaxCompute Go SDK のリリース
MaxCompute ユーザーの皆様へ
MaxCompute Go SDK は、2024年10月22日 (火曜日) (UTC+8) より一般提供が開始されました。Go SDK は、プロジェクトへのアクセスと管理、データテーブルの操作、データ転送の実行など、MaxCompute サービスを操作および管理するための API を提供します。詳細については、「Go SDK の概要」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご支援ありがとうございます。
2024年10月15日:MaxCompute クラシックネットワークの廃止とエンドポイントの更新
MaxCompute ユーザーの皆様へ
Alibaba Cloud は、2024年11月30日 (土曜日) (UTC+8) をもって MaxCompute のクラシックネットワーク接続を廃止し、クラウドサービス接続用の内部ネットワークに置き換えます。サービスの中断を防ぐため、この日までに VPC またはクラウドサービス接続用の内部ネットワークに切り替えてください。さらに、Alibaba Finance Cloud、Alibaba Gov Cloud、およびその他の国際リージョンにおける VPC および内部ネットワーク接続のエンドポイントを更新しました。設定を確認し、適宜更新してください。詳細については、「エンドポイント」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年10月14日:複数のサブスクリプションリソースのサポート
MaxCompute ユーザーの皆様へ
2024年10月14日 (月曜日) (UTC+8) より、MaxCompute は、同一リージョン内の単一の Alibaba Cloud アカウントに対して複数のサブスクリプション計算リソースの購入をサポートします。これにより、複数のレベル 1 クォータを購入でき、各クォータのリソースは互いに隔離されます。
この機能は、以下のユースケースに最適です。
単一の Alibaba Cloud アカウント内で、異なる部門やプロジェクト間でサブスクリプション計算リソースを強力に隔離する必要があるビジネス。
異なる部門やプロジェクトの請求を分割する必要があるビジネス。以前は、レベル 2 クォータを使用してサブスクリプション計算リソースの料金を分割することはできませんでした。今後は、複数のレベル 1 クォータを購入して、注文ごとに請求書を分割できます。
MaxCompute クォータの詳細については、「計算リソースとクォータの管理」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。
2024年9月27日:MaxCompute のストレージコスト最適化
MaxCompute ユーザーの皆様へ
2024年9月27日 (金曜日) (UTC+8) より、MaxCompute は中国本土のパブリッククラウドリージョンでストレージコスト最適化機能を展開します。この機能は、テーブルとパーティションの最終アクセス時刻を分析することで、階層型ストレージポリシーの最適化を支援します。固定ポリシーに基づき、非アクティブ期間が 30 日経過したデータを標準ストレージから低コストの階層 (低頻度アクセス (IA)) に、非アクティブ期間が 180 日経過したデータを長期ストレージに移動することを推奨します。また、この機能はカタログ価格に基づいて潜在的なコスト削減額を推定し、情報に基づいた意思決定を支援します。
詳細については、「階層型ストレージ構成の最適化」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。
2024年9月26日:MaxCompute 向け MaxFrame の一般提供開始
MaxCompute ユーザーの皆様へ
MaxFrame は、MaxCompute の計算リソースとデータインターフェイスを使用する Alibaba Cloud の分散コンピューティングフレームワークです。Python インターフェイスを提供し、Pandas および XGBoost と互換性があり、分散処理を自動的に処理します。MaxFrame を使用すると、Python 開発者は MaxCompute 上で大規模なデータ処理と ML/AI データの前処理を効率的に実行できます。詳細については、「MaxFrame:分散 AI コンピュートエンジン」をご参照ください。
MaxCompute 向け MaxFrame は、PyODPS DataFrame および Mars インターフェイスを段階的に置き換え、演算子の互換性と分散パフォーマンスを向上させます。新しい Python 開発およびジョブには MaxFrame の使用を推奨します。また、PyODPS DataFrame および Mars を使用する既存のジョブを MaxFrame に移行して、開発体験の向上とより良いサービスサポートの恩恵を受けることをお勧めします。
2024年9月27日 (金曜日) (UTC+8) より、MaxFrame は中国 (北京)、中国 (杭州)、中国 (上海)、中国 (深セン)、中国 (成都)、中国 (ウランチャブ)、および中国 (香港) リージョンで一般提供されます。MaxFrame は、ジョブが使用する計算リソースに基づいて課金されます。従量課金モデルとサブスクリプション課金モデルの両方がサポートされています。課金の詳細については、「計算コスト (サブスクリプション)」をご参照ください。
ご質問やサポートが必要な場合は、MaxCompute 開発者コミュニティ (DingTalk グループ ID:11782920)、専用の DingTalk グループ、または公式の MaxFrame ユーザーサポートグループ (DingTalk グループ ID:37130012987) までお問い合わせください。MaxCompute 開発者コミュニティに参加するには、DingTalk グループ申請フォームにご記入ください。
今後ともご支援を賜りますようお願い申し上げます。
2024年9月20日:MaxCompute コンソール機能の RAM 権限管理
MaxCompute ユーザーの皆様へ
セキュリティを強化するため、MaxCompute は 2024年10月8日 (火曜日) に、いくつかのコンソール機能に Resource Access Management (RAM) 権限管理を導入します。Alibaba Cloud アカウント (プライマリアカウント) はデフォルトで完全なアクセス権を保持しますが、RAM ユーザーはこれらの影響を受ける機能を使用するために特定の権限アクションが必要になります。機能と必要な権限アクションは以下の通りです。
モジュール | 機能 | 権限アクション |
ワークスペース > ノートブック | ノートブック |
|
テナント > 外部データソース |
| |
トンネル > MMA | MMA |
|
これらの権限アクションの詳細については、「RAM 権限」をご参照ください。
これらのコンソール機能へのアクセスを中断させないために、2024年10月8日 (火曜日) までに、影響を受ける RAM ユーザーに必要な RAM 権限を付与してください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年9月19日:MaxCompute 新機能の招待プレビュー
MaxCompute ユーザーの皆様へ
2024 Apsara Conference で発表された MaxCompute の主要な新機能の招待プレビューをお知らせします。これらの新機能には、OpenLake を搭載したデータレイクハウス 2.0、SQL または MaxFrame を使用したオブジェクトテーブル内の非構造化データの処理、増分 Delta Table フォーマット、増分マテリアライズドビューに基づく増分コンピューティング、MaxCompute クエリアクセラレーション (MCQA) 2.0 エンジンによるクエリパフォーマンスの向上などが含まれます。プレビューは、中国 (杭州)、中国 (上海)、中国 (北京)、および中国 (深セン) のパブリッククラウドリージョンで利用可能です。これらの新機能を試すには、招待プレビュー申請フォームにご記入ください。
登録後、以下のいずれかの方法で新機能を試すことができます。
MaxCompute コンソールで新しいプロジェクトを作成する際に、[プロジェクトタイプ] を 雲栖新機能招待プレビュープロジェクト に設定します。
DataWorks の Data Studio パブリックプレビューで、MaxCompute 計算リソースをバインドし、新しい内部プロジェクトを作成する際に、[プロジェクトタイプ] を 雲栖新機能招待プレビュープロジェクト に設定します。
これらのプレビュー機能は試用のみを目的としており、Apsara Conference 招待プレビュー用に作成された新しいプロジェクトでのみ利用可能です。これらの機能はまだ活発に開発中であるため、本番ワークロードでの使用は推奨されません。これらのプレビュープロジェクトや機能を重要なデータや本番運用に使用しないでください。
招待プレビューが終了すると、これらのプレビュープロジェクトは自動的に標準の本番プロジェクトに変換されます。すべてのデータと構成情報は保持されます。MaxCompute は、プレビューからのフィードバックに基づいてこれらの機能を継続的に改善していきます。ただし、すべてのプレビュー機能が標準プロジェクトで一般提供されることを保証するものではありません。
2024年9月5日:MaxCompute クォータ管理 UI の強化
MaxCompute ユーザーの皆様へ
2024年9月11日 (水曜日) に、MaxCompute はサブスクリプション計算クォータを設定するためのコンソール UI の最適化バージョンをすべてのリージョンに順次展開します。このバージョンは、時間ベースのスケーリングが必要な場合と不要な場合の 2 つの主要なユースケースに合わせて最適化されています。時間ベースのスケーリング機能を使用する必要がない場合は、新しい UI の 基本設定 タブでサブスクリプション計算クォータの設定を完了できます。時間ベースのスケーリング機能を使用する必要がある場合は、まず 基本設定 を完了してから、スケーリング設定 タブに移動して関連する設定を行います。
MaxCompute コンソールの クォータ (Quota) 管理 ページでサブスクリプション計算クォータを設定すると、次の変更が適用されます。
元の [クォータテンプレート] は 基本設定 に名称変更されました。機能は以下の通りです。
基本構成の編集 を使用して、レベル 2 クォータを追加し、[排他的]、[ジョブごとの CU 制限]、[優先度を有効にする]、[非予約 CU]、スケジューリングポリシー などの基本パラメーターを変更できます。また、リザーブド CU [minCU, maxCU] と [弾力的に予約された CU] を編集することもできます。ただし、これらの変更は現在アクティブなクォータリソース構成プラン (旧クォータプラン) にのみ適用されます。時間ベースのスケーリングを使用する場合は、スケーリング設定 タブに移動して リザーブド CU [minCU, maxCU] と [弾力的に予約された CU] を設定することをお勧めします。
基本設定 タブでは、クォータリストからレベル 2 クォータを削除できます。削除ロジックは元のクォータテンプレートと同じです。
元の Quota プラン と [時間プラン] は スケーリング設定 に統合され、設定は リザーブド CU [minCU, maxCU] と [弾力的に予約された CU] に限定されます。機能は以下の通りです。
構成プランの追加: このアクションは、以前はプランの追加でしたが、クォータのリザーブド CU [minCU, maxCU] パラメーターと [弾性予約 CU] パラメーターのみを構成できます。
リソース構成プランリスト:このリストは以前のクォータプランリストであり、展開して各プランの構成詳細を表示および比較できるようになりました。
時間ベースの管理:この機能は以前は [時間プラン] と呼ばれていました。機能は同じです。
時間ベースのスケーリングプレビュー:これは新機能で、選択したレベル 2 クォータの異なる時間帯における CU 割り当てのトレンドチャートを表示します。
グローバルスケーリング構成ビュー:これは新機能で、すべての構成プランの詳細のテーブルを提供します。これにより、異なる時間スロットにわたるすべてのクォータの Min/Max CU と弾力的に予約された CU を簡単に確認できます。
詳細な手順については、「計算リソース - クォータ管理」をご参照ください。ご質問やサポートが必要な場合は、専用の DingTalk グループ、公式の MaxFrame ユーザーサポートグループ (DingTalk グループ ID:37130012987)、または MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年8月29日:MaxCompute コンソール機能の RAM 権限管理
MaxCompute ユーザーの皆様へ
セキュリティを強化するため、MaxCompute は 2024年9月10日 (火曜日) より、特定のコンソール機能に RAM 権限管理を追加します。デフォルトでは、Alibaba Cloud アカウント (プライマリアカウント) はすべてのコンソール機能に完全にアクセスできます。ただし、RAM ユーザーはこれらの機能にアクセスするために、関連する権限アクションが必要になります。影響を受ける機能とその権限アクションは以下の通りです。
モジュール | 機能 | 権限アクション |
ワークスペース > プロジェクト管理 | odps:ListOutboundInternetAddress | |
ワークスペース > プロジェクト管理 | odps:UpdateUsersToRole | |
ワークスペース > クォータ管理 |
| |
ワークスペース > リソース観察 |
| |
odps:ListTopJobInfo | ||
| ||
ワークスペース > ジョブ O&M | odps:ListJobSnapshotInfos | |
ワークスペース > マテリアライズドビュー |
| |
テナント管理 > ネットワーク接続 |
| |
テナント管理 > イメージ管理 |
|
これらの権限アクションの詳細については、「RAM 権限」をご参照ください。
RAM ユーザーの継続的なアクセスを確保するため、2024年9月10日 (火曜日) までに必要な RAM 権限を付与してください。たとえば、RAM ユーザーにクォータ管理の権限を付与するには、次のポリシーをアタッチします。
{
"Version": "1",
"Statement": [
{
"Effect": "Allow",
"Action": [
"odps:UpdateQuota",
"odps:UpdateQuotaPlan",
"odps:UpdateSubQuotas",
"odps:UpdateQuotaSchedule",
"odps:CreateQuotaPlan",
"odps:DeleteQuotaPlan",
"odps:CreateQuotaSchedule",
"odps:ListQuotaRoutingRules",
"odps:CreateQuotaRoutingRule",
"odps:GetQuotaRoutingRule",
"odps:RemoveQuotaRoutingRule",
"odps:UpdateQuotaRoutingRule"
],
"Resource": "*"
}
]
}ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年8月19日:MaxCompute リソース観察の機能強化
MaxCompute ユーザーの皆様へ
MaxCompute のリソース観察機能に、ストレージリソースとジョブパフォーマンスに関する新しいメトリクスが追加されました。
ストレージリソース
この機能は、ストレージ使用量の変化を追跡し、その分布を理解するのに役立ちます。選択したリージョン内の総ストレージ使用量と、異なるストレージタイプの割合を表示できます。また、選択した期間における特定のプロジェクトのストレージ使用量の推移を観察し、各テーブルまたはパーティションの詳細情報を表示することもできます。これらの洞察により、ストレージ消費量の急増を特定し、最も消費量の多いプロジェクト、テーブル、またはパーティションを迅速に最適化できます。
ジョブパフォーマンスの新しいメトリクス
選択したフィルター内で最も多くの
CPU 時間またはメモリ時間を消費する上位 10 件のジョブを特定します。また、合計または平均消費量が最も高い上位 10 件の署名とExtNodeIdsを表示することもできます。選択したフィルターに基づいて、合計実行時間が最も長い上位 10 件のジョブと、合計または平均実行時間が最も長い上位 10 件の
署名とExtNodeIdsを表示します。特定の期間における
ジョブによってスキャンされたデータの傾向を表示します。CU 時間あたりのジョブによってスキャンされたデータの傾向を追跡します。
これらのメトリクスは、リソースを大量に消費し、実行時間が長いジョブを迅速に特定し、タイムリーに最適化するのに役立ちます。
CU 時間あたりのジョブによってスキャンされたデータを比較することで、異常なパフォーマンスの期間を検出できます。その後、ジョブ管理機能を使用して根本原因を調査し、問題を解決できます。
詳細については、「リソース観察」をご参照ください。
ご不明な点がございましたら、専用の DingTalk グループまたは MaxCompute 開発者コミュニティの DingTalk グループ (ID:11782920) までお問い合わせください。
ありがとうございます。
2024年7月31日:レガシー PyTorch コンポーネントの廃止
MaxCompute ユーザーの皆様へ
プラットフォーム全体のシステムアップグレードのため、Platform for AI (PAI) は 2024年8月30日 をもって、すべてのクラスターでレガシー PyTorch アルゴリズムコンポーネントを廃止します。PAI コマンド pai -name pytorch100/pytorch131/pytorch151 を使用して MaxCompute に送信された PyTorch ジョブは移行することを強く推奨します。PyTorch ジョブの送信には Deep Learning Containers (DLC) の使用を推奨します。詳細については、「トレーニングジョブの作成」をご参照ください。2024年8月31日以降、当社のサービスレベルアグリーメント (SLA) は、これらの廃止されたコンポーネントを使用する既存のジョブを対象外とします。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年7月18日:特定の API の廃止
MaxCompute ユーザーの皆様へ
2024年7月31日 (水曜日) (UTC+8) をもって、MaxCompute は以下の API 操作を廃止します。
廃止される API 操作とその代替
廃止される API
代替 API
バージョン
API 名
2019-06-12
CreateProject
2022-01-04: CreateProject
DeleteProject
利用不可
GetProject
2022-01-04: GetProject
OpenMaxComputeService
利用不可
2022-01-04
2022-01-04: QueryQuota
廃止の理由
バージョン 2019-06-12 の API 操作は、基盤となる機能の実装が変更され、長期的なモニタリングでこのバージョンへの外部顧客からの呼び出しがないため廃止します。
バージョン 2022-01-04 の GetQuota 操作は、より包括的なクォータ情報を提供するために更新します。現在の操作への外部顧客からの呼び出しがモニタリングで確認されていないため、廃止します。
影響
廃止日以降、これらの API 操作へのすべての呼び出しは失敗し、
InvalidApi.NotFoundまたはInvalidAction.NotFoundエラーコードが返されます。推奨されるアクション
コードがこれらの廃止された API 操作の SDK (特定のリクエストやレスポンスオブジェクトなど) に依存している場合、新しい SDK バージョンにアップグレードする際に依存関係の欠落が発生する可能性があります。コードを更新して代替の API 操作を使用するか、関連する機能を削除することをお勧めします。コードがこれらの API 操作を直接呼び出している場合は、これらの呼び出しも更新する必要があります。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年7月4日:ジョブ O&M に新しい時間パラメーターを追加
MaxCompute ユーザーの皆様へ
MaxCompute は、ジョブ O&M リストおよびジョブ分析概要ページに、開始時刻、待機時間、実行時間のパラメーターを提供するようになりました。
開始時刻:ジョブが最初の計算リソースを取得した時刻。短時間実行ジョブや、DDL 文などの計算リソースを消費しないジョブの場合、代わりにジョブ送信時刻が使用されます。
待機時間:ジョブ送信時刻から開始時刻までの時間。
実行時間:開始時刻から終了時刻までの時間。
これらのパラメーターは、ジョブ O&M リストではデフォルトで非表示になっています。カスタム列をクリックして表示できます。これらのパラメーターは、リソースの待機時間が長いためにジョブの実行が遅いかどうかを迅速に判断するのに役立ちます。その後、ジョブ分析を使用して、根本原因が計算リソースの不足なのか、ジョブ間のリソース競合なのかを診断できます。この診断に基づいて、ジョブの実行を最適化したり、ジョブの優先度を調整したり、計算リソースを管理したりできます。
詳細については、「ジョブ O&M」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。
2024年7月3日:MaxFrame 機能のリリース
MaxCompute ユーザーの皆様へ
MaxFrame 分散コンピューティングフレームワークが一般提供開始となりました。2024年7月3日 (水曜日) (北京時間) より、MaxFrame は中国 (上海)、中国 (北京)、中国 (ウランチャブ)、中国 (深セン)、および中国 (成都) リージョンで利用可能です。他のリージョンへの展開も順次行われます。
MaxFrame は、Alibaba Cloud が開発した分散コンピューティングフレームワークで、Python プログラミングインターフェイスを提供し、MaxCompute の計算リソースとデータインターフェイスに直接接続します。これにより、Python 開発者は大規模なデータ処理と AI モデル開発を効率的に行うことができます。Pandas インターフェイスと完全に互換性があり、MaxFrame は分散処理を自動的に管理します。これにより、使い慣れた環境で MaxCompute の膨大な計算リソースとデータリソースを活用して、データ処理、視覚的なデータ探索、科学計算、ML/AI 開発を行うことができます。
機能の詳細と使用方法については、「MaxFrame:分散 AI コンピュートエンジン」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループ、公式の MaxFrame ユーザーサポートグループ (DingTalk グループ ID:37130012987)、または MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。
2024年7月1日:4つの新リージョンにおける計算コストの最適化
MaxCompute ユーザーの皆様へ
MaxCompute の計算コスト最適化機能が、中国 (香港)、シンガポール、インドネシア (ジャカルタ)、ドイツ (フランクフルト) の 4 つの新しいリージョンで利用可能になりました。この機能は、ジョブのワークロードとターゲットリソース構成を分析し、サブスクリプションベースのレベル 1 クォータ計算リソースに最適化されたリソースプランを推奨します。また、プロジェクトを従量課金モデルからサブスクリプションモデルに切り替えるためのコスト予測と推奨事項を提供し、計算コストの最適化とリソース利用率の向上を支援します。このリリースにより、この機能は中国 (杭州)、中国 (上海)、中国 (北京)、中国 (張家口)、中国 (深セン)、中国 (成都)、中国 (香港)、シンガポール、インドネシア (ジャカルタ)、ドイツ (フランクフルト) の合計 10 リージョンで利用可能になりました。
詳細については、「計算コストの最適化」をご参照ください。
ご不明な点がございましたら、専用の DingTalk グループまたは MaxCompute 開発者コミュニティの DingTalk グループ (ID:11782920) までお問い合わせください。
ありがとうございます。
2024年5月17日:MaxCompute LogView のセキュリティアップグレード
MaxCompute ユーザーの皆様へ
MaxCompute は、2024年6月3日 (月曜日) 14:00 (UTC+8) より、LogView の包括的なセキュリティアップグレードを順次展開します。このアップグレードは、中国 (成都)、中国 (張家口)、中国 (深セン)、中国 (北京)、中国 (上海)、中国 (杭州)、および中国 (ウランチャブ) の各リージョンに段階的に展開されます。アップグレード後、DataWorks の DataStudio またはデータ分析から共有リソースグループを使用して送信されたジョブの LogView リンクは、MaxCompute コンソールにリダイレクトされます。ジョブの LogView にアクセスするには、以下の両方の条件を満たす必要があります。
実名認証を完了した有効な Alibaba Cloud アカウントを持っている必要があります。
ジョブが実行される MaxCompute プロジェクトのメンバーである必要があります。プロジェクト管理者がユーザーをプロジェクトに追加できます。
そのため、DataWorks ワークスペースで MaxCompute エンジンに設定されたアクセス ID がユーザー ID と異なる場合、送信したジョブの LogView にアクセスできない可能性があります。これは、ジョブを所有する MaxCompute プロジェクトのメンバーではない場合に発生します。たとえば、標準モードの DataWorks ワークスペースで、開発環境から本番環境にジョブを送信した場合、本番環境の MaxCompute プロジェクトのメンバーでなければ、その LogView にはアクセスできません。
この問題を回避するには、次のアクションを実行してください。
LogView にアクセスする必要があるすべてのチームメンバーが、実名認証済みの Alibaba Cloud アカウントを持っていることを確認してください。
チームメンバーを適切な MaxCompute プロジェクトに速やかに追加し、必要な権限を付与してください。
説明ユーザー管理と権限付与操作の詳細については、「ユーザー計画と管理」および「MaxCompute 権限」をご参照ください。
アップグレード中またはアップグレード後に、LogView のアクセスや権限設定に関するご質問がある場合、またはテクニカルサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。ご協力ありがとうございます。
2024年5月13日:MaxCompute etcd 証明書のアップグレード
MaxCompute ユーザーの皆様へ
2024年5月20日 (月曜日) 10:00 から 16:00 (UTC+8) にかけて、シンガポールリージョンのクラスターの etcd 証明書をアップグレードします。このアップグレードは、実行中のジョブに影響を与えないはずです。ただし、万が一ジョブが失敗した場合は、再実行してください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年5月8日:MaxCompute のジョブパフォーマンス観察
MaxCompute ユーザーの皆様へ
MaxCompute のジョブパフォーマンス観察機能は、2024年5月8日 (水曜日) 20:00 (UTC+8) にリリースされます。この機能により、ジョブ数、CU 使用量、ジョブ実行時間の傾向を表示できます。
これらのメトリクスは、時間範囲、プロジェクト、クォータでフィルタリングでき、統計をジョブタイプ、ランタイムステータス、プロジェクト、クォータでグループ化できます。
これらのメトリクスは、ジョブ数やリソース使用量の異常な急増などの問題を迅速に特定し、タイムリーな対応を可能にします。また、ジョブの実行時間を時系列で比較することで、全体のパフォーマンスを低下させる遅いジョブを特定することもできます。
詳細と使用方法については、「ジョブパフォーマンス観察」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。
2024年4月30日:MaxCompute ストレージのアップグレード
MaxCompute ユーザーの皆様へ
MaxCompute は、中国 (香港) リージョンで 2024年5月15日 (水曜日) 10:00 から 16:00 (UTC+8) にストレージのアップグレードを実施します。この低リスクのアップグレードは、実行中のジョブに影響を与えないはずです。万が一、ジョブが影響を受けて失敗した場合は、再試行してください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年4月23日:海外リージョンにおける MaxCompute プロジェクトのライフサイクルの変更
MaxCompute ユーザーの皆様へ
2024年4月25日 (木曜日) (UTC+8) より、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、ドイツ (フランクフルト)、イギリス (ロンドン)、米国 (シリコンバレー)、米国 (バージニア)、UAE (ドバイ)、またはサウジアラビア (リヤド - パートナー運営) で従量課金サービスを有効にすると、そのリージョン内のすべてのプロジェクトのライフサイクルが従量課金サービスのライフサイクルと一致するようになります。ストレージやダウンロードなどの従量課金の使用量については、製品詳細と (使用記録配下の) 課金項目の両方がMaxCompute (従量課金) としてリストされます。そのリージョンでサブスクリプションリソースを購入した場合、そのライフサイクルのみがサブスクリプションインスタンスのライフサイクルと一致したままになります。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。
2024年4月7日:新しい MaxCompute サブスクリプション割引
MaxCompute ユーザーの皆様へ
2024年4月7日 10:00 (UTC+8) より、標準計算リソースやトンネルサービスを含む、さまざまな MaxCompute サブスクリプションリソース仕様に新しい割引が適用されます。
新しい割引は、1 年契約で 15% 割引、2 年契約で 30% 割引、3 年契約で 50% 割引です。
2024年3月14日:MaxCompute が ActionTrail イベントの取り込みをサポート
MaxCompute ユーザーの皆様へ
ActionTrail でトレイルを作成し、ActionTrail イベントを MaxCompute に配信できるようになりました。
ActionTrail はイベントを 90 日間保持します。この期間を超えてイベントを保存および分析するには、ActionTrail でトレイルを作成して MaxCompute に配信します。
詳細については、「ActionTrail イベントを MaxCompute に配信する」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。
2024年2月29日:DataWorks 専用リソースグループの PyODPS ノードアップグレード
MaxCompute ユーザーの皆様へ
PyODPS のサポートを強化するため、DataWorks は 2024年4月8日 (月曜日) から 2024年5月30日 (木曜日) (UTC+8) にかけて、さまざまなリージョンの専用リソースグループを順次アップグレードします。以下の表は、主な機能強化と各リージョンの具体的なアップグレードスケジュールを詳述しています。アップグレード後も、ノード上の PyODPS パッケージのバージョンは変更されません。
機能強化 | リージョン | アップグレードスケジュール |
| 中国 (成都) および中国 (張家口) | 2024年4月8日から2024年4月11日 |
中国 (深セン) | 2024年4月15日から2024年4月18日 | |
中国 (北京) | 2024年4月22日から2024年4月25日 | |
中国 (上海) | 2024年5月6日から2024年5月9日 | |
中国 (杭州) | 2024年5月13日から2024年5月16日 | |
中国 (香港) および中国以外のリージョン | 2024年5月20日から2024年5月23日 | |
中国東部 1 (杭州金融) および中国東部 2 (上海金融) | 2024年5月27日から2024年5月30日 |
アップグレードにより、実行中の PyODPS ジョブが中断される可能性があります。専用リソースグループ内の PyODPS ジョブが失敗した場合、または関連する問題でヘルプが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティの DingTalk グループ (ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年2月28日:MaxCompute 信頼性ドリル
MaxCompute ユーザーの皆様へ
MaxCompute は、2024年2月28日 (水曜日) 15:00 から 16:00 (UTC+8) に、中国 (張家口) および中国 (成都) リージョンでサービスアクセスの信頼性ドリルを実施します。このドリルがジョブに影響を与えることはないと予想されます。ジョブが失敗した場合は、再試行してください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ご協力ありがとうございます。
2024年1月25日:MaxCompute 計算コスト最適化機能のリリース
MaxCompute ユーザーの皆様へ
2024年1月25日 (木曜日) (UTC+8) に、MaxCompute 計算リソース最適化機能は計算コスト最適化機能にアップグレードされました。
計算コスト最適化機能は、既存の計算リソース最適化機能を基盤としており、レベル 1 サブスクリプションクォータ計算リソースに最適化されたリソース構成プランを生成します。さらに、このアップグレードでは、従量課金計算リソースからサブスクリプション計算リソースへの切り替えを決定するのに役立つ、推奨リソース構成プランとその効果の予測を提供します。これにより、計算コストをさらに最適化し、リソース利用率を向上させることができます。詳細と使用方法については、「計算リソース構成の最適化」をご参照ください。
ご質問やサポートが必要な場合は、専用の DingTalk グループまたは MaxCompute 開発者コミュニティグループ (DingTalk グループ ID:11782920) までお問い合わせください。
ありがとうございます。