DataWorks DataStudio は、包括的なアーキテクチャのアップグレードを実施しています。このアップグレードは、クラウドネイティブ技術の進化と複雑なデータ処理の要求に対応します。また、現在のアーキテクチャのスケーラビリティ、メンテナンス性、およびユーザーエクスペリエンスに関する課題も解決します。目標は、将来を見据えた、パフォーマンス専有型で高可用性 (HA) のインテリジェントなデータ開発プラットフォームを構築し、より効率的で、インテLLジェントで、統一されたデータ開発およびガバナンス体験を提供することです。
アップグレード中に問題が発生した場合は、DataWorks DataStudio アップグレードサポートグループのテクニカルサポートにお問い合わせください。
1. 背景
元の DataWorks アーキテクチャは 16 年前に構築され、バッチ処理時代のコアニーズを満たしていました。しかし、技術とビジネスシナリオが進化するにつれて、その限界が明らかになりました。このアップグレードを推進する主な要因は 3 つあります。
アーキテクチャ進化の技術要件への対応
データレイクハウスのサポート: 現在のアーキテクチャは、従来のデータウェアハウスからデータレイクハウスへのスムーズな移行をネイティブにサポートし、メタデータ管理とデータ処理を統一するためにアップグレードする必要があります。
バッチ処理とリアルタイム処理の統一: 新しいアーキテクチャは、オフラインのバッチ処理とリアルタイムのストリームコンピューティングをシームレスに統合することで、リアルタイムのビジネスニーズに対応するために、統一された開発モデルとメタデータビューを提供する必要があります。
AI および大規模言語モデル (LLM) とのネイティブ統合: 新しいアーキテクチャは、機械学習、ディープ ラーニング、自然言語処理 (NLP) などの AI 機能を、データ開発ワークフロー全体にネイティブに統合する必要があります。
既存のアーキテクチャの技術的課題への対応
モノリシックでバッチ中心の設計の限界: 元のアーキテクチャは、バッチ処理用に設計されたモノリスでした。この設計は、本質的にクラウドネイティブとストリームコンピューティングのサポートを欠いており、プラットフォームの弾力性とパフォーマンスを制限しています。
スケーラビリティとメンテナンスのボトルネック: 密結合されたモジュールは、長い開発サイクルと高いメンテナンスコストにつながりました。このアーキテクチャは、大規模な同時アクセスやカスタムビジネスニーズの処理に苦労していました。
進化するユーザーニーズへの対応
大規模で複雑なワークフローのサポート: 新しいアーキテクチャは、数万人のアクティブなユーザーをサポートし、エクサバイト単位のデータを処理するために、より高い安定性、スループット、およびリソースの隔離を提供する必要があります。
開発効率とインテリジェンスの向上: ユーザーは、ローカルの統合開発環境 (IDE) と同様のスムーズな開発体験を期待しています。新しいアーキテクチャでは、コード支援、パフォーマンス診断、ワンクリック公開などのスマート機能が導入されています。これらの機能により、データ開発の技術的な障壁が大幅に低減されます。
2. アップグレードの範囲
モジュール | 変更内容の説明 |
データ開発 (DataStudio) | アップグレードは、プロダクトのユーザーインターフェース (UI) とユーザーエクスペリエンス (UX) に限定されます。 |
オペレーションセンターや Deployment Center などの他のプロダクトモジュールは、このアップグレードの影響を受けません。
3. アップグレードの影響
既存のサービスへの影響
項目 | 影響の説明 |
公開済みの本番タスク | 影響なし。すべてのオンラインタスクは、中断することなく、引き続き安定してスケジュールされ、実行されます。 |
コアデータ開発機能 | 完全に保持され、強化されています。ノードタイプ、関数サポート、コア編集および実行機能などのコア機能は完全に保持されます。また、新バージョンではパフォーマンスとユーザーエクスペリエンスが向上するように強化されています。 |
ユーザー資産の移行
資産タイプ | 移行計画 |
既存のノード (MaxCompute SQL や Shell など) | 新しいインターフェイスへのワンクリック移行をサポートします。 |
ユーザー定義関数 (UDF) | |
リソースファイル ( | |
コンポーネント | |
アドホッククエリ |
4. 詳細な機能移行
新しい DataStudio は、以前のバージョンの機能を再編成し、改善しています。次のセクションでは、新しい IDE で以前の機能を見つける場所と変更点について説明します。
4.1 データ開発モジュール
4.1.1. ソリューション
旧バージョン: 関連するビジネスフローを整理および管理するために、独立した「ソリューション」メニューが使用されていました。
新バージョン: これは「フォーカスモード」にアップグレードされます。任意のファイルディレクトリからフォーカスモードに入ることができ、より没入感のある柔軟な開発体験が可能です。
4.1.2. ビジネスフロー
旧バージョン: このバージョンには固定のディレクトリ階層があり、ビジネスフローダッシュボードをサポートしていました。
新バージョン: 必要に応じて新しいディレクトリを作成できます。また、コンテンツに柔軟にタグを付けて、旧バージョンのビジネスフローディレクトリと一致させることもできます。
新バージョン: ビジネスフローダッシュボードはディレクトリダッシュボードにアップグレードされます。「表示」機能はどのディレクトリでも利用できます。
新バージョン: フローオーケストレーションを使用するには、新しい DataStudio の「定期スケジュールワークフロー」を使用します。
4.1.3. ノード開発
旧バージョン: 利用可能なノードタイプのみが表示されていました。DataWorks がサポートする他のノードタイプを表示したり、エンジンをバインドする前にそれらのコードを記述したりすることはできませんでした。
新バージョン: この機能は、データ開発のプロジェクトディレクトリに統合されています。エンジンをバインドする前に、すべてのノードタイプを表示し、コードを記述できます。新しいノードを作成する際のインタラクションは、ノードの作成とコーディング体験を向上させるために継続的に最適化されています。
4.1.3.1 実行/パラメーターを指定して実行
旧バージョン: 「実行」ボタンと「パラメーターを指定して実行」ボタンは別々でした。 [パラメーターを指定して実行] をクリックすると、リソースグループとカスタムパラメーターを選択しました。
新バージョン:
「実行」ボタンと「パラメーターを指定して実行」ボタンは、単一の「実行」ボタンに統合されました。
旧バージョンの「エンジンインスタンス」は、ノードタイプに応じてデータソースと計算リソースに分割されます:
データソース: スマートコードエディタでのメタデータ提案に使用されます。
計算リソース: コードのデバッグに使用する計算リソースを決定するために使用されます。
以前のポップアップウィンドウの「リソースグループ」は、デバッグ構成の「リソースグループ」に移動しました。
「パラメーターを指定して実行」ポップアップウィンドウの「カスタムパラメーター」は、デバッグ構成の「パラメーター」に移動しました。
「デバッグ構成」は常にノードの右側に表示されます。各コードの実行に必要な計算リソース、リソースグループ、およびパラメーターは、デバッグ構成から取得されます。
4.1.3.2 スモークテスト/スモークテストレコードの表示
旧バージョン: コミットが成功した後にのみスモークテストを開始できました。
新バージョン:
標準モード: コードが開発環境に正常に公開された後 (旧バージョンでのコミット成功に相当) にのみ、スモークテストを開始できます。
基本モード: コードが本番環境に正常に公開された後 (旧バージョンでのコミット成功に相当) にのみ、スモークテストを開始できます。
4.1.3.3 コードレビュー/コードレビューレコードの表示
旧バージョン: ボタンはノードのツールバーに直接表示されていました。
新バージョン: 公開プロセス中に、本番チェッカーステップでコードレビューを開始できます。コードレビューリストを表示するには、左側のディレクトリツリーで対応する項目をクリックします。
4.1.3.4 コミット/コミットして他のユーザーに編集を許可
旧バージョン:
新バージョン: 旧バージョンの「コミット」は「公開」になりました。新バージョンでは、必要な権限を持つユーザーが直接公開できます。標準モードでは、タスクのパッケージングと Deployment Center への公開もサポートしています。
4.1.4. テーブル開発
旧バージョン: データ開発で新しいテーブルを作成しました。
新バージョン: この機能は、包括的な「Data Catalog」管理モジュールにアップグレードされます。Data Catalog では、ビジュアルフォーム、コード、または AI を使用してテーブルを作成できます。
4.1.5. リソース開発
旧バージョン: データ開発で新しいリソースを作成しました。
新バージョン: これは「Resource Management」モジュールに統合されます。
4.1.6. 関数開発
旧バージョン: データ開発で新しい関数を作成しました。
新バージョン: これは「Resource Management」モジュールに統合されます。
4.2 コンポーネント管理モジュール
旧バージョン:
新バージョン:
4.3 ワンタイムタスクモジュール
旧バージョン:
新バージョン:
4.4 手動トリガーワークフローモジュール
旧バージョン:
新バージョン:
より包括的な手動ワークフロー機能については、プロジェクトディレクトリのトリガーワークフローを使用してください。
4.5 アドホッククエリモジュール
旧バージョン: このモジュールには、現在のワークスペース内のすべてのユーザーのアドホッククエリファイルが含まれていました。
新バージョン:
このモジュールには、現在のリージョン内のすべてのワークスペースにわたる現在のユーザーのアドホッククエリファイルが含まれています。
これらのファイルはコードのデバッグ専用です。クエリを本番タスクとして公開するには、プロジェクトディレクトリにコミットし、スケジュールを構成してから公開します。
4.6 テーブル管理モジュール
旧バージョン:
新バージョン: この機能は、包括的な「Data Catalog」管理モジュールにアップグレードされます。Data Catalog では、ビジュアルフォーム、コード、または AI を使用してテーブルを作成できます。
4.7 パブリックテーブルモジュール
旧バージョン:
新バージョン: この機能は、包括的な「Data Catalog」管理モジュールにアップグレードされます。
4 astounding.8 関数リストモジュール
旧バージョン:
新バージョン: Copilot に直接関数の使用方法に関する情報を問い合わせることができるようになりました。
将来のリリースでは、関数管理モジュールが計画されています。これには、公式エンジン関数とユーザー定義関数の管理と作成が含まれます。
4.9 操作チェックモジュール
旧バージョン:
新バージョン:
4.10 実行履歴モジュール
旧バージョン:
新バージョン:
4.11 スモークテストレコードモジュール
旧バージョン:
新バージョン:
4.12 コンピューティングリソース モジュール
旧バージョン:
新バージョン:
4.13 設定モジュール
旧バージョン:
新バージョン: テーマの切り替え。
新バージョン: その他の設定。
新バージョン: その他の設定を探索します。
4 astounding.14 ごみ箱モジュール
旧バージョン:
新バージョン:
5. アップグレードガイド
5.1 アップグレード権限
ワークスペース管理者と同等の権限を持つユーザーのみが、アップグレード機能を表示して使用できます。
5.2 アップグレード手順
5.2.1 アップグレードエントリポイントへのアクセス
DataStudio (データ開発) のメインインターフェイスの上部ナビゲーションバーにあります。
ワークスペースセレクターの横にある青い「新バージョンにアップグレード」ボタンです。
必要な権限を持つユーザーのみがこのボタンを表示できます。
5.2.2 アップグレードに関する注意事項の確認
「新バージョンにアップグレード」ボタンをクリックすると、アップグレード紹介ページが表示されます。
アップグレード後はスペックダウンできません。開始する前に、次の点を確認してください。アップグレード中に質問がある場合は、DataWorks DataStudio アップグレードサポートグループに参加してください。
以前の DataStudio OpenAPI を使用している場合、または移行アシスタントを使用する必要がある場合は、アップグレードする前に DataWorks DataStudio アップグレードサポートグループのサポートスタッフにお問い合わせください。
DataStudio の現在のバージョンとアップグレードされたバージョンの間で、ワークスペースをまたいでタスクを公開することはできません。
アップグレード中は、DataStudio の新しいバージョンでも以前のバージョンでも、現在のワークスペースのコンテンツを追加または変更することはできません。この制限は、UI での操作と OpenAPI を介した操作に適用されます。
アップグレードには時間がかかります。タスク開発のオフピーク時にアップグレードをスケジュールしてください。
アップグレード後もワークスペース名と ID は変更されません。
アップグレード後、以前のバージョンの DataStudio は読み取り専用になります。新しい DataStudio で編集されたコードは、以前のバージョンには同期されません。
アップグレード後、新しい DataStudio の個人ディレクトリでは、自分が所有する移行済みのアドホッククエリファイルのみを表示できます。
5.2.3 アップグレードの実行
現在のアップグレードステータスが「現在のワークスペースのアップグレードは開始されていません」の場合、「アップグレードを開始」ボタンをクリックしてプロセスを開始します。
「アップグレードを開始」をクリックすると、現在のワークスペースの推定時間と移行対象のオブジェクト数が表示されます。
「確認」をクリックしてアップグレードを開始します。
アップグレード中は、進行状況とステータスをリアルタイムで表示できます。
アップグレード中に「アップグレードの詳細」をクリックすると、リアルタイムの詳細を表示できます。
アップグレード中に「更新」をクリックすると、最新のステータスを表示できます。
アップグレードが完了したら、「DataStudio に移動」をクリックして新しい DataStudio の使用を開始します。
6. アップグレードの保証
6.1 専用アップグレードサービス
オンラインヘルプ: アップグレードプロセス中に詳細な操作ガイダンスを利用できます。
技術相談: 問題が発生した場合は、DataWorks DataStudio アップグレードサポートグループのテクニカルサポートスタッフにお問い合わせください。必要に応じて、オンサイトサービスを提供できます。
緊急対応: アップグレードの問題に対応するための迅速な対応メカニズムが整備されています。
プロダクトトレーニング: 必要に応じて、アップグレード後に機能使用トレーニングを提供できます。
6.2 ロールバックメカニズム
アップグレード中に問題が発生した場合は、DataWorks DataStudio アップグレードサポートグループのテクニカルサポートスタッフにお問い合わせください。アップグレード前の状態にロールバックするのに役立ちます。