DataWorks の Data Studio は、クラウドネイティブ技術の進化に対応し、ますます複雑化するデータ処理シナリオの需要に応え、現在のアーキテクチャが抱えるスケーラビリティ、保守性、ユーザーエクスペリエンスの課題を解決するため、包括的なアーキテクチャのアップグレードを実施しています。このアップグレードは、将来を見据えた、高性能で可用性の高いデータインテリジェンス開発プラットフォームを構築し、ユーザーに、より効率的でインテリジェント、かつ統一されたデータ開発とガバナンスの体験を提供することを目的としています。
アップグレード中に問題が発生した場合は、DataWorks Data Studio アップグレードサポートグループ にお問い合わせください。
1. 背景情報
DataWorks の当初の技術アーキテクチャは 16 年前に構築されました。バッチ処理時代のコアニーズには応えるものでしたが、技術スタックやビジネスシナリオの進化に伴い、その限界がより顕著になってきました。このアップグレードは、主に 3 つの要因によって推進されています。
アーキテクチャ進化のための技術要件
レイクハウスアーキテクチャのサポート：既存のアーキテクチャは、従来のデータウェアハウスからレイクハウスアーキテクチャへのスムーズな進化をネイティブにサポートし、メタデータ管理とデータ処理を統一できるよう、アップグレードが必要です。
オフラインとリアルタイム処理の統一：リアルタイムのビジネス要求に応えるため、新しいアーキテクチャは統一された開発パラダイムとメタデータビューを提供し、オフラインのバッチ処理とリアルタイムのストリームコンピューティングをシームレスに統合する必要があります。
AI と大規模言語モデル (LLM) のネイティブ統合：新しいアーキテクチャは、機械学習、ディープラーニング、自然言語処理などの AI 機能を、データ開発ライフサイクル全体にネイティブに統合する必要があります。
既存アーキテクチャの課題
モノリシックでバッチ中心の設計の限界：レガシーアーキテクチャは、バッチ処理に焦点を当てた初期のモノリシック設計に基づいています。クラウドネイティブ技術やストリームコンピューティングのサポートには本質的な限界があり、プラットフォームの弾力性とパフォーマンスを制限しています。
スケーラビリティと保守性のボトルネック：密結合なモジュールは、新機能のイテレーションサイクルが長く、メンテナンスコストが高いため、大規模な同時アクセスやカスタムビジネス拡張の要求に応えることが困難です。
進化するユーザーの要求
大規模で複雑なワークフローのサポート：数万のアクティブユーザーとエクサバイト規模のデータの処理ニーズに対応するため、新しいアーキテクチャは、より高い安定性、スループット、およびリソース分離を提供する必要があります。
開発効率とインテリジェンスの向上：ユーザーは、ローカル IDE のようにスムーズな開発体験を期待しています。新しいアーキテクチャは、インテリジェントなコード支援、パフォーマンス診断、ワンクリックパブリッシュを導入し、データ開発の技術的なハードルを大幅に下げます。
2. アップグレードの範囲
モジュール | 変更点 |
Data Studio | ユーザーインターフェイス (UI) とユーザーエクスペリエンス (UX) のアップグレード。 |
オペレーションセンターやデプロイメントセンターなど、他の製品モジュールはこのアップグレードの影響を受けず、範囲外です。
3. アップグレードの影響
既存ビジネスへの影響
項目 | 影響の説明 |
パブリッシュ済みの本番タスク | 影響なし。すべてのオンラインタスクは中断することなく実行を継続します。 |
Data Studio のコア機能 | 完全に維持され、強化されています。ノードタイプ、関数サポート、編集および実行機能などのコア機能は、新バージョンでも完全に維持され、パフォーマンスとユーザーエクスペリエンスが最適化されています。 |
ユーザー資産の移行
資産タイプ | 移行計画 |
既存のノード (例：MaxCompute SQL、Shell) | これらの資産は、ワンクリックで新しいインターフェイスに移行できます。 |
ユーザー定義関数 (UDF) | |
リソースファイル (例： | |
コンポーネント | |
アドホッククエリ |
4. 機能の移行
新しい Data Studio は、レガシーバージョンの機能を再編成し、最適化します。以下のセクションでは、レガシー Data Studio を起点として、各機能の新しい場所と変更点について説明します。
4.1 データ開発
4.1.1. ソリューション
レガシーバージョン：独立した [ソリューション] メニューを使用して、関連するビジネスフローを整理・管理していました。
新バージョン：[フォーカスモード] にアップグレードされました。任意のファイルディレクトリでフォーカスモードを利用でき、より柔軟で没入感のある開発体験を提供します。
4.1.2. ビジネスフロー
レガシーバージョン：固定のディレクトリ階層を使用し、ビジネスフローダッシュボードをサポートしていました。
新バージョン：必要に応じてディレクトリを作成し、ビジネスフローディレクトリとして柔軟にタグ付けできます。
新バージョン：ビジネスフローダッシュボードはディレクトリダッシュボードにアップグレードされました。[ビュー] 機能は任意のディレクトリで利用可能です。
新バージョン：フローオーケストレーション機能については、新しい Data Studio の [周期的スケジューリングワークフロー] を使用します。
4.1.3. ノード開発
レガシーバージョン：利用可能なノードタイプのみが表示されました。エンジンをバインドする前に、DataWorks がサポートする他のノードタイプを確認したり、そのコードを記述したりすることはできませんでした。
新バージョン：Data Studio > [プロジェクトディレクトリ] に統合されました。エンジンをバインドする前に、すべてのノードタイプを確認し、コードを記述できます。作成とコーディングの体験を向上させるため、新しいノード作成プロセスは継続的に最適化されています。
4.1.3.1. 実行/パラメータを指定して実行
レガシーバージョン：[実行] と [パラメータを指定して実行] ボタンが分かれていました。[パラメータを指定して実行] をクリックすると、実行時のリソースグループとカスタムパラメータを選択していました。
新バージョン：
レガシーバージョンの [実行] と [パラメータを指定して実行] ボタンは、単一の [実行] ボタンに統合されました。
レガシーバージョンの [エンジンインスタンス] は、ノードタイプに応じてデータソースとコンピューティングリソースに分割されました：
データソース：インテリジェントコードエディターでのメタデータサジェストに使用されます。
コンピューティングリソース：コードのデバッグに使用するコンピューティングリソースを決定します。
レガシーバージョンの [実行リソースグループ] は、実行設定の [リソースグループ] に移動しました。
レガシーバージョンの [パラメータを指定して実行] ダイアログの [カスタムパラメータ] は、実行設定の [パラメータ] に移動しました。
[デバッグ設定] パネルは、ノードの右側に常時表示されるようになりました。各コードの実行では、この設定のコンピューティングリソース、リソースグループ、およびパラメータが使用されます。
4.1.3.2. スモークテスト/スモークテスト記録の表示
レガシーバージョン：コミットが成功した後にのみ、スモークテストを開始できました。
新バージョン：
[標準モード]：タスクを開発環境に正常にパブリッシュした (レガシーバージョンでのコミット成功に相当) 後にのみ、スモークテストを開始できます。
[基本モード]：タスクを本番環境に正常にパブリッシュした (レガシーバージョンでのコミット成功に相当) 後にのみ、スモークテストを開始できます。
4.1.3.3. コードレビュー/コードレビュー記録の表示
レガシーバージョン：ボタンはノードのツールバーに直接配置されていました。
新バージョン：パブリッシュプロセスの本番チェッカーステップでコードレビューを開始できます。左側のディレクトリツリーでクリックすると、コードレビューリストを表示できます。
4.1.3.4. コミット/コミットして他のユーザーに編集を許可
レガシーバージョン：
新バージョン：[コミット] アクションは [パブリッシュ] に変更されました。新バージョンでは、権限を持つユーザーが直接パブリッシュできます。標準モードでは、デプロイメントセンターを介してリリース用のタスクをパッケージ化することも可能です。
4.1.4. テーブル開発
レガシーバージョン：Data Studio 内で新しいテーブルを作成しました。
新バージョン：包括的な [データマップ] 管理機能にアップグレードされました。[データマップ] では、ビジュアルフォーム、コード、または AI を使用してテーブルを作成できます。
4.1.5. リソース開発
レガシーバージョン：Data Studio 内で新しいリソースを作成しました。
新バージョン：[リソース管理] モジュールに統合されました。
4.1.6. 関数開発
レガシーバージョン：Data Studio 内で新しい関数を作成しました。
新バージョン：[リソース管理] モジュールに統合されました。
4.2 コンポーネント管理
レガシーバージョン：
新バージョン：
4.3 手動タスク
レガシーバージョン：
新バージョン：
4.4 手動ビジネスフロー
レガシーバージョン：
新バージョン：
より包括的な手動ワークフロー機能については、[プロジェクトディレクトリ] > [ワークフロー] > [トリガー型ワークフロー] を使用します。
4.5 アドホッククエリ
レガシーバージョン：現在のワークスペースのすべてのユーザーのアドホッククエリファイルが含まれていました。
新バージョン：
現在のリージョン内のすべてのワークスペースにわたる現在のユーザーのアドホッククエリファイルが含まれています。
これはコードのデバッグのみを目的としています。クエリを本番タスクとしてパブリッシュする必要がある場合は、プロジェクトディレクトリにコミットし、スケジューリングを設定してからパブリッシュできます。
4.6 テーブル管理
レガシーバージョン：
新バージョン：包括的な [データマップ] 管理機能にアップグレードされました。[データマップ] では、ビジュアルフォーム、コード、または AI を使用してテーブルを作成できます。
4.7 パブリックテーブル
レガシーバージョン：
新バージョン：包括的な [データマップ] 管理機能にアップグレードされました。
4.8 関数リスト
レガシーバージョン：
新バージョン：Copilot に直接、関数の使用方法について質問できるようになりました。
将来のリリースで関数管理モジュールが計画されています。これには、公式エンジン関数とユーザー定義関数の管理と作成が含まれます。
4.9 操作チェック
レガシーバージョン：
新バージョン：
4.10 実行履歴
レガシーバージョン：
新バージョン：
4.11 スモークテスト記録
レガシーバージョン：
新バージョン：
4.12 コンピューティングリソース
レガシーバージョン：
新バージョン：
4.13 設定
レガシーバージョン：
新バージョン：テーマの切り替え。
新バージョン：その他の設定。
新バージョン：その他の設定の確認。
4.14 ごみ箱
レガシーバージョン：
新バージョン：
5. アップグレード手順
5.1 アップグレード権限
ワークスペース管理者 ロールを持つユーザーのみが、アップグレードを表示し、実行できます。
5.2 アップグレードワークフロー
5.2.1. アップグレードのエントリーポイント
Data Studio のメインインターフェイスの上部メニューにあります。
ワークスペースセレクターの横にある青い [新バージョンにアップグレード] ボタンをクリックします。
必要な権限を持つユーザーにのみこのボタンが表示されます。
5.2.2. アップグレードに関する注意
[新バージョンにアップグレード] ボタンをクリックすると、アップグレードの紹介ページが表示されます。
アップグレードは原則として不可逆的であり、お客様自身でロールバックすることはできません。続行する前に、以下の情報を確認してください。プロセス中にヘルプが必要な場合は、DataWorks Data Studio アップグレードサポートグループ にお問い合わせください。
レガシー Data Studio OpenAPI を使用している場合、または移行アシスタントを使用する必要がある場合は、アップグレードする前に DataWorks Data Studio アップグレードサポートグループ のサポートスタッフにお問い合わせください。
新バージョンを使用しているワークスペースとレガシーバージョンを使用しているワークスペースの間でタスクをパブリッシュすることはできません。
アップグレード中は、対象ワークスペースの新しい Data Studio またはレガシー Data Studio のいずれにおいても、コンテンツの追加や変更はできません。これは、UI 操作と OpenAPI コールの両方に適用されます。
アップグレードには時間がかかります。オフピーク時間にアップグレードすることを推奨します。
ワークスペース名と ID は、アップグレード後も変更されません。
アップグレード後、レガシーバージョンの Data Studio は読み取り専用になります。新しい Data Studio で編集されたコードは、レガシーバージョンに同期されません。
アップグレード後、個人ディレクトリには、移行されたレガシーアドホッククエリの中から自分のファイルのみが表示されます。
5.2.3. アップグレードプロセス
アップグレードステータスが "Upgrade has not started for the current workspace," の場合、[アップグレードを開始] ボタンをクリックしてプロセスを開始します。
[アップグレードを開始] をクリックすると、対象ワークスペースのアップグレードの推定所要時間と移行対象のオブジェクト数が表示されます。
[確認] ボタンをクリックしてアップグレードを開始します。
アップグレード中は、進行状況とステータスをリアルタイムで監視できます。
アップグレード中に [アップグレード詳細] をクリックすると、移行された項目のリアルタイムリストを表示できます。
アップグレード中に [更新] をクリックすると、最新のステータスを確認できます。
アップグレードが完了したら、[Data Studio に移動] をクリックして新バージョンの使用を開始します。
6. アップグレードサポート
6.1. アップグレードサービス
オンラインヘルプ：アップグレードプロセス中に詳細な操作ガイダンスをご利用いただけます。
技術相談：問題が発生した場合は、DataWorks Data Studio アップグレードサポートグループ のサポートエンジニアにお問い合わせください。必要に応じて、オンサイトサービスも提供可能です。
緊急対応：アップグレード関連の問題に対して、迅速な対応メカニズムをご利用いただけます。
製品トレーニング：必要に応じて、アップグレード後に製品の使用トレーニングを提供可能です。
6.2. ロールバックメカニズム
アップグレードプロセス中に問題が発生した場合は、DataWorks Data Studio アップグレードサポートグループ のサポートエンジニアにお問い合わせください。アップグレード前の状態へのロールバックを支援します。