クラウドネイティブ技術の進化に対応し、複雑なデータ処理の要請を満たし、スケーラビリティ、メンテナンス性、およびユーザーエクスペリエンスを向上させるため、DataWorks データ開発（Data Studio）は大規模なアーキテクチャ刷新を実施します。本アップグレードでは、将来を見据えた高性能・高可用性のデータインテリジェンス開発プラットフォームを構築し、データ開発およびガバナンスに向けたより効率的で、よりインテリジェントかつ統一されたエクスペリエンスを提供することを目的としています。
アップグレード中に問題が発生した場合は、DataWorks データ開発 アップグレードサポートグループ にて技術サポートをご利用ください。
1. 背景情報
DataWorks の元来の技術アーキテクチャは 16 年前に構築されました。バッチ処理時代のコア要件には対応していましたが、技術スタックおよびビジネスシナリオの進化に伴い、その限界が顕在化してきています。本アップグレードは、以下の 3 つの主な要因によって推進されています。
アーキテクチャ進化に向けた技術要件への対応
Lakehouse アーキテクチャのサポート：現在のアーキテクチャを刷新し、従来のデータウェアハウスから Lakehouse アーキテクチャへのスムーズなトランジションをネイティブでサポートする必要があります。これにより、メタデータ管理とデータ処理が統合されます。
オフライン処理とリアルタイム処理の統合：現代ビジネスのリアルタイム要請に応えるため、新しいアーキテクチャは、オフラインバッチ処理とリアルタイムストリームコンピューティングをシームレスに統合する、統一された開発パラダイムおよびメタデータビューを提供する必要があります。
AI および大規模言語モデル（LLM）のネイティブ統合：新しいアーキテクチャは、機械学習、ディープ ラーニング、Natural Language Processing などの AI 機能を、データ開発ライフサイクル全体にネイティブ統合する必要があります。
既存アーキテクチャの技術課題の解決
モノリシックかつバッチ中心の設計の限界：バッチ処理を前提に設計された従来のモノリシックアーキテクチャは、クラウドネイティブな弾力性およびストリームコンピューティングへの対応が限定的であり、プラットフォームのパフォーマンスに影響を及ぼしていました。
スケーラビリティおよびメンテナンス性のボトルネック：モジュール間の密結合により、新機能の反復開発サイクルが長期間化し、メンテナンスコストが高騰しました。これにより、大規模な同時アクセスやカスタムビジネス要件への対応が困難になっていました。
ユーザー要件の進化への対応
大規模かつ複雑なワークフローのサポート：数万規模のアクティブユーザーをサポートし、エクサバイト規模のデータを処理するために、新しいアーキテクチャは、より高い安定性、スループット、およびリソース隔離を提供する必要があります。
開発効率およびインテリジェンスの向上：ユーザーは、ローカル IDE と同等の滑らかな開発体験を期待しています。新しいアーキテクチャでは、コード補完、パフォーマンス診断、ワンクリック公開といったインテリジェント機能を導入し、データ開発を大幅に容易にします。
2. アップグレード範囲
モジュール | 変更内容 |
Data Development（Data Studio） | 本プロダクトのアップグレードは、ユーザーインターフェース（UI）およびユーザーエクスペリエンス（UX）にのみ影響します。 |
オペレーションセンターおよびデプロイメントセンターなどの他のプロダクトモジュールは、本アップグレードの影響を受けません。
3. アップグレードの影響
既存サービスへの影響
項目 | 影響の説明 |
公開済みの本番ジョブ | 影響なし。すべてのオンラインジョブは、中断されることなく引き続き安定して実行されます。 |
コアデータ開発機能 | 完全に維持され、強化されます。新バージョンでは、ノードタイプ、関数サポート、コア編集および実行など、すべてのコア機能が保持・最適化され、パフォーマンスおよびエクスペリエンスが向上します。 |
ユーザー資産の移行
資産タイプ | 移行計画 |
既存ノード（例：MaxCompute SQL、Shell） | 新規インターフェースへのワンクリック移行をサポートします。 |
ユーザー定義関数（UDF） | |
リソースファイル（例： | |
コンポーネント | |
アドホッククエリ |
4. 機能の移行
Data Development（Data Studio）の新バージョンでは、従来バージョンの機能が再統合・最適化されています。以下では、従来の機能がどこで見つけられるか、および新規 IDE における変更点について説明します。
4.1 データ開発
4.1.1 ソリューション
旧バージョン: 関連するビジネスフローを整理および管理するために、別個の「[ソリューション]」メニューが使用されていました。
新バージョン：この機能は「フォーカスモード」として再設計されています。任意のファイルディレクトリからフォーカスモードを起動することで、より没入感・柔軟性の高い開発体験が得られます。
4.1.2 ビジネスフロー
従来バージョン：固定のディレクトリ階層を使用し、ビジネスフローダッシュボードをサポートしていました。
新バージョン：必要に応じてディレクトリを作成し、タグを付与することで、従来のビジネスフローディレクトリの機能を再現できます。
新バージョン：ビジネスフローダッシュボードは「ディレクトリダッシュボード」となりました。「表示」機能は、任意のディレクトリで利用可能です。
新バージョン：ワークフローのオーケストレーションを利用するには、新しいデータ開発モジュールで「スケジュール済みワークフロー」を作成します。
4.1.3 ノード開発
従来バージョン：利用可能なノードタイプのみが表示されており、エンジンのバインド前には DataWorks がサポートする他のノードタイプを確認したり、コードを記述したりできませんでした。
新バージョン：ノード開発はプロジェクトディレクトリに統合されています。エンジンのバインド前でも、すべてのノードタイプを確認し、コードを記述できます。新規ノードの作成手順は、作成およびコーディング体験の向上に向けて継続的に最適化中です。
4.1.3.1 実行／パラメーター付き実行
従来バージョン：「実行」と「パラメーター付き実行」の別々のボタンが存在しました。「パラメーター付き実行」をクリックすると、ポップアップダイアログで実行リソースグループおよびカスタムパラメーターを選択しました。
新バージョン：
「実行」と「パラメーター付き実行」のボタンは、単一の「実行」ボタンに統合されました。
従来の「エンジンインスタンス」は、ノードタイプに応じて「データソース」と「計算リソース」に分割されました。
データソース：インテリジェントコードエディタにおけるメタデータ候補の提示に使用されます。
計算リソース：コードデバッグ時に使用される計算リソースを決定します。
従来の「実行リソースグループ」は、デバッグ設定パネル内の「リソースグループ」となりました。
従来の「カスタムパラメーター」は、デバッグ設定パネル内の「パラメーター」となりました。
「デバッグ設定」パネルは、ノード右側に常時表示されます。各コード実行は、このパネルから計算リソース、リソースグループ、およびパラメーターを使用します。
4.1.3.2 スモークテスト／スモークテスト履歴の表示
従来バージョン：正常に提出後にのみスモークテストを開始できました。
新バージョン：
標準モード：開発環境へのタスクの公開（従来バージョンでの提出に相当）が正常に完了した後、スモークテストを開始できます。
ベーシックモード：本番環境へのタスクの公開（従来バージョンでの提出に相当）が正常に完了した後、スモークテストを開始できます。
4.1.3.3 コードレビュー／コードレビュー履歴の表示
従来バージョン：ボタンはノードツールバー上に直接配置されていました。
新バージョン：公開プロセス中の「本番チェッカー」ステップからコードレビューを開始できます。コードレビュー一覧は左側のディレクトリツリーで確認できます。
4.1.3.4 提出／他者による編集を許可して提出
従来バージョン：
新バージョン：「提出」機能は「公開」と名称変更されました。新バージョンでは、必要な権限を持つユーザーが直接公開できます。標準モードでは、タスクをパッケージ化してデプロイメントセンターに公開することも可能です。
4.1.4 テーブル開発
従来バージョン：テーブルはデータ開発モジュール内で作成されていました。
新バージョン：この機能は「データディレクトリ」管理モジュールに移行しました。データディレクトリでは、ビジュアルフォーム、コード、または AI を活用したテーブル作成によりテーブルを作成できます。
4.1.5 リソース開発
従来バージョン：リソースはデータ開発モジュール内で作成されていました。
新バージョン：この機能は「リソース管理」モジュールに統合されました。
4.1.6 関数開発
従来バージョン：関数はデータ開発モジュール内で作成されていました。
新バージョン：この機能は「リソース管理」モジュールに統合されました。
4.2 コンポーネント管理
従来バージョン：
新バージョン：
4.3 手動タスク
従来バージョン：
新バージョン：
4.4 手動ビジネスフロー
従来バージョン：
新バージョン：
より包括的な手動ワークフロー機能が必要な場合は、イベント駆動型ワークフローの利用を推奨します。これは、プロジェクトディレクトリ ＞ ワークフロー ＞ トリガー済みワークフローからアクセスできます。
4.5 アドホッククエリ
従来バージョン：現在のワークスペース内のすべてのユーザーのアドホッククエリファイルが表示されていました。
新バージョン：
現在のリージョン内のすべてのワークスペースにおける、現在のユーザーのアドホッククエリファイルが表示されます。
このモジュールはコードデバッグ専用です。クエリを本番ジョブとして公開する場合は、プロジェクトディレクトリへ提出し、スケジューリング設定を構成したうえで公開してください。
4.6 テーブル管理
従来バージョン：
新バージョン：この機能は「データディレクトリ」管理モジュールに移行しました。データディレクトリでは、ビジュアルフォーム、コード、または AI を活用したテーブル作成によりテーブルを作成できます。
4.7 公共テーブル
従来バージョン：
新バージョン：この機能は「データディレクトリ」管理モジュールに移行しました。
4.8 関数一覧
従来バージョン：
新バージョン：今後は Copilot に対して関数の使い方を直接質問できます。
今後のリリースでは、関数管理モジュールを追加予定です。公式エンジン関数およびユーザー定義関数（UDF）の管理・作成機能を含む予定です。
4.9 オペレーションチェック
従来バージョン：
新バージョン：
4.10 実行履歴
従来バージョン：
新バージョン：
4.11 スモークテスト履歴
従来バージョン：
新バージョン：
4.12 計算リソース
従来バージョン：
新バージョン：
4.13 設定
従来バージョン：
新バージョン：テーマ切り替え。
新バージョン：その他の設定。
新バージョン：その他の設定を探索。
4.14 ゴミ箱
従来バージョン：
新バージョン：
5. アップグレード方法
5.1 必要な権限
アップグレードを表示・実行できるのは、ワークスペース管理者と同等の権限を持つユーザーのみです。
5.2 アップグレード手順
5.2.1 アップグレード入口へのアクセス
アップグレード入口は、Data Studio（データ開発）メインインターフェースの上部ナビゲーションバーにあります。
ワークスペースセレクターの隣にある青色の「新バージョンへアップグレード」ボタンを探します。
必要な権限を持つユーザーのみがこのボタンを表示できます。
5.2.2 アップグレードに関する検討事項の確認
「新バージョンへアップグレード」ボタンをクリックすると、アップグレード情報ページが表示されます。
アップグレードが成功した後は、以前のバージョンへロールバックできません。開始前に以下のポイントを確認してください。アップグレード中に支援が必要な場合は、DataWorks データ開発 アップグレードサポートグループ へご参加ください。
従来の Data Studio OpenAPI を使用している場合、または移行アシスタントが必要な場合は、アップグレード前に DataWorks データ開発 アップグレードサポートグループ の当直エンジニアにご連絡ください。
アップグレード後は、従来バージョンを実行しているワークスペースとアップグレード済みワークスペースとの間でタスクを公開することはできません。
アップグレード中は、現在のワークスペースにおいて、新規および従来の Data Studio のいずれにおいても、コンテンツの追加・変更ができません。これは UI 操作および OpenAPI 操作の両方に適用されます。
アップグレードには時間がかかります。開発負荷が低い時間帯にアップグレードを実行することを推奨します。
アップグレード後も、ワークスペース名および ID は変更されません。
アップグレード後、従来バージョンの Data Studio は読み取り専用となり、新規 Data Development で編集されたコードは、それへ同期されません。
スペックアップ後、従来のアドホッククエリからのファイルが新しい DataStudio に移行されると、所有するファイルのみが個人ディレクトリに表示されます。
5.2.3 アップグレードの実行
現在のステータスが「現在のワークスペースではアップグレードが開始されていません」の場合、「アップグレード開始」ボタンをクリックします。
「アップグレード開始」をクリックすると、システムは現在のワークスペースに対する推定所要時間および移行対象オブジェクト数を表示します。
「確認」をクリックしてアップグレードを開始します。
アップグレード中は、進行状況およびステータスをリアルタイムで監視できます。
アップグレード中は、「アップグレード詳細」をクリックして、リアルタイムの処理ログを表示できます。
アップグレード中は、「更新」をクリックして最新のステータスを取得できます。
アップグレードが完了したら、「Data Studio へ移動」をクリックして、新規データ開発の利用を開始します。
6. アップグレードサポート
6.1 専任アップグレードサービス
オンラインヘルプ：アップグレードプロセス中に詳細なガイダンスが提供されます。
技術相談：ご質問がある場合は、DataWorks データ開発 アップグレードサポートグループ にて技術サポートをご利用ください。必要に応じて、オンサイトサービスも提供可能です。
緊急対応：アップグレード関連の問題に対して迅速な対応体制を整備しています。
製品トレーニング：アップグレード後に新機能に関するトレーニングを必要に応じて提供可能です。
6.2 ロールバックメカニズム
アップグレードプロセス中に問題が発生した場合は、DataWorks データ開発 アップグレードサポートグループ にて技術サポートをご利用ください。アップグレード開始前の状態へロールバックするお手伝いをいたします。