このトピックでは、DataWorks V2.0 のリリースノートと新機能について説明します。
リリース情報
バージョン: DataWorks V2.0
- 日付: 2018 年 7 月 25 日
- リージョン: 中国 (上海)
- 内容: DataWorks V1.0 をベースに、DataWorks V2.0 ではワークフローや SQL スクリプトテンプレートなどの概念が追加され、データ開発プロセスも改善されています。DataWorks V2.0 は、ベーシックモードとスタンダードモードのワークスペースをサポートしています。スタンダードモードのワークスペースは、開発環境と本番環境を分離するため、標準的な方法でデータを開発し、コードのエラーを減らすのに役立ちます。
利用可能なリージョン
すべての Alibaba Cloud リージョンで DataWorks V2.0 がサポートされています。
操作の更新
機能の更新
DataWorks V2.0 は、[datastudio] サービスの全体的な視覚的インタラクションとユーザーエクスペリエンスを向上させます。さらに、DataWorks V2.0 は、アラーム、データセキュリティガード、データ品質、DataService Studio の 4 つの新しいサービスを提供します。
| サービス | 機能 | 項目 | DataWorks V1.0 | DataWorks V2.0 | 説明 |
| MaxCompute プロジェクト | プロジェクト管理 | プロジェクト管理方法 | DataWorks ワークスペースは 1 つの MaxCompute プロジェクトに関連付けられています。 | ワークスペースにスタンダードモードが追加されました。スタンダードモードでは、DataWorks ワークスペースは 2 つの MaxCompute プロジェクトに関連付けられ、開発環境と本番環境が分離されます。詳細については、「ベーシックモードのワークスペースとスタンダードモードのワークスペースの違い」をご参照ください。 | 本番環境のコードの安定性を確保するために、開発環境と本番環境を分離できます。 |
| DataStudio | ノード開発 | 全体的な機能 | 単一のノードまたは単一のフローのコードを開発し、スケジューリングプロパティを設定できます。その後、ノードまたはフローをオペレーションセンターにコミットして、自動的にスケジューリングおよび実行できます。 |
|
|
| SQL 開発 | SQL エディターで単一のノードまたは単一のフローのコードを開発およびテストできます。 | SQL エディターは、[構文の強調表示]、[コードのフォーマット]、[インテリジェントなコード補完]、[エラープロンプト]、[スキーマ] など、よりインテリジェントでユーザーフレンドリーな機能を提供します。 SQL エディターの右側のタブには、SQL コード構造が直感的に表示されます。 | |||
| ノード設定 | ノードとフローを関連付けるだけでビジネスを開発できます。 | [フロー] は [ワークフロー] に置き換えられました。ワークフロー内のノードを関連付け、必要なテーブル、リソース、関数をワークフローに追加することで、ビジネスを開発できます。また、関連するワークフローをソリューションに統合して一元管理することもできます。 | |||
| スケジューリングサイクル設定 | ノードのスケジューリングサイクル設定は、ノードが属するフローのスケジューリングサイクル設定に従います。 | 関連付けられたノードのスケジューリングサイクルをまとめて設定することはできません。代わりに、各ノードのスケジューリングサイクルを個別に設定する必要があります。ノードのスケジューリングタイプは、その祖先ノードまたは子孫ノードのスケジューリングタイプと同じでも異なっていても構いません。 | |||
| 依存関係 | フロー間でのみ依存関係を設定できます。 | 異なるワークフローのノード間で依存関係を設定できます。 | |||
| スクリプト | 全体的な機能 | スクリプトを使用して、非巡回的な一時データを処理できます。たとえば、スクリプトを使用して、一時テーブルを追加、削除、または変更できます。この機能は自動トリガーノードの補足であり、スケジューリングサイクルと依存関係の設定は必要ありません。 | 機能名が [アドホッククエリ] に変更されました。 | ||
| 手動トリガーノード | 全体的な機能 | 手動トリガーフローでは、すべてのノードを手動でトリガーする必要があり、DataWorks によって自動的にスケジューリングすることはできません。 | 機能名が [手動トリガーワークフロー] に変更されました。 | ||
| リソース管理 | 全体的な機能 | リソース管理は、JAR、ファイル、アーカイブリソースなど、MaxCompute プロジェクト内のすべてのリソースを管理するために使用される独立した機能です。 | リソース管理はワークフローの機能に変更されました。必要なリソースをワークフローに追加し、複数レベルのフォルダーを作成してこれらのリソースを管理できます。 | ||
| 関数管理 | 全体的な機能 | 関数管理は、ODPS SQL ノードに必要な組み込み関数とカスタム関数を管理するために使用される独立した機能です。 | 関数管理は、すべての関数を管理するために使用される独立した機能です。また、ワークフローの機能でもあり、ワークフローの関数を管理できます。 | ||
| テーブルクエリ | 全体的な機能 | MaxCompute プロジェクトのすべてのテーブルを検索、プレビュー、および参照できます。 | 更新なし。 | ||
| テーブル管理 | 全体的な機能 | サポートされていません。 | テーブル管理が追加されました。開発者は自分のテーブルを管理できます。たとえば、開発者はライフサイクルを設定し、テーブルのカテゴリ、説明、フィールド、パーティションを変更し、テーブルを非表示、表示、および削除できます。 | ||
| アドホッククエリ | 全体的な機能 | サポートされていません。 | 開発環境でコードをテストするためのアドホッククエリ機能が追加されました。アドホッククエリノードをコミットおよびデプロイしたり、アドホッククエリノードのスケジューリングパラメーターを設定したりする必要はありません。 | ||
| SQL スクリプトテンプレート管理 | 全体的な機能 | サポートされていません。 | SQL スクリプトテンプレート管理が追加されました。SQL コードを SQL スクリプトテンプレートとして抽象化して、SQL コードを再利用できます。ビジネス要件に基づいて、SQL スクリプトテンプレートを選択し、これらのテンプレートの入力パラメーターと出力パラメーターを設定できます。 | ||
| 操作履歴 | 全体的な機能 | サポートされていません。 | 過去 3 日間に開発環境で実行されたすべてのノードのレコードを表示できます。また、ノードの実行結果を表示およびフィルタリングすることもできます。 | ||
| SQL 結果のフィルタリング | 全体的な機能 | サポートされていません。 | SQL ステートメントの実行結果をフィルタリング、スクリーニング、およびソートできるように、Excel コンポーネントが SQL エディターに統合されています。 | ||
| ごみ箱 | 全体的な機能 | サポートされていません。 | 誤操作を防ぐために、ごみ箱が追加されました。現在のごみ箱にあるワークスペースから削除されたノードを表示し、ビジネス要件に基づいて復元できます。 | ||
| グローバルコード検索 | 全体的な機能 | サポートされていません。 | グローバルコード検索がサポートされています。ノードに含まれる文字列の一部を入力して ODPS SQL、Shell、またはデータ同期ノードを検索し、表示または管理するノードをすばやく見つけることができます。 | ||
| ノードデプロイ | 全体的な機能 | DataWorks V1.0 はノードデプロイをサポートしています。 | 機能名が [プロジェクト間の複製] に変更されました。ベーシックモードのワークスペース間でのみノードを複製できます。 | ||
| オペレーションセンター | ノードリスト | 機能 | ノードリストで、ノードタイプ、ノード名、および所有者でノードを検索できます。 | [ワークフロー]、[ソリューション]、[ベースライン] など、ノードの検索に役立つフィルター条件が追加されました。 | ビジネスに基づいてノードを管理できます。ノード開発のための機能が追加されました。 |
| ノード O&M | 機能 | ノードリストで、ノードタイプ、ノード名、所有者、データタイムスタンプ、および実行日でノードを検索できます。 | [ワークフロー]、[ソリューション]、[ベースライン] など、ノードの検索に役立つフィルター条件が追加されました。 | ||
| アラート | 機能 | ノードの完了ステータスと実行ステータスに基づいて、監視とアラートを設定できます。 | よりインテリジェントで包括的なアラートシステムを構築するために、[スマートベースライン]、[イベントアラート]、[ルール管理] 機能が追加されました。 | ||
| アラーム | DataWorks のノード監視および分析システムとして アラーム サービスが追加されました。インテリジェントモニタリングシステムは、ノードのステータスを監視し、アラートルールで指定された間隔、通知方法、および通知受信者に基づいてアラート通知を送信します。最適なアラート時間、通知方法、および受信者を自動的に選択できます。 | データ開発、セキュリティ、ガバナンス、および共有サービスを提供するためのエンドツーエンドのクラウドプラットフォームが構築されています。 | |||
| データ品質 | 異種データソースのデータ品質を制御するために、データ品質 サービスが追加されました。データ品質では、データ品質の確認、アラート通知の設定、データソースの管理を行うことができます。 データ品質はデータセット内のデータを監視し、MaxCompute テーブルと DataHub トピックを監視できます。オフラインの MaxCompute データが変更されると、データ品質はデータを確認し、例外が検出された場合はノードをブロックします。これにより、ノードが影響を受けるのを防ぎます。さらに、データ品質では、チェック結果履歴を管理できるため、データ品質を分析および評価できます。 | ||||
| DataService Studio | DataService Studio サービスが追加されました。DataService Studio でテーブルに基づいて API をすばやく作成し、既存の API を DataService Studio に登録し、API を公開し、API を一元管理できます。DataService Studio と API Gateway は相互接続されています。これにより、API を API Gateway に簡単に公開できます。DataService Studio は API Gateway と連携して、安全で安定した、低コストで使いやすいデータ共有サービスを提供します。 | ||||
| データセキュリティガード | データ資産の識別、機密データの検出、データの分類、データのマスキング、データアクセス動作の監視、アラートの報告、およびリスクの監査を行うために、データセキュリティガード サービスが追加されました。 | ||||