DataWorks を MaxCompute と連携させることで、オフラインデータウェアハウスと分析システムを構築できます。タスクワークフローの視覚的な設定、定期的なジョブのスケジューリング、メタデータの一元管理が可能です。
前提条件
DataWorks がアクティブ化されていること。 詳細については、「DataWorks のアクティブ化」をご参照ください。
MaxCompute がアクティブ化されていること。 詳細については、「MaxCompute のアクティブ化」をご参照ください。
DataWorks ワークスペースが作成されていること。 詳細については、「ワークスペースの作成」をご参照ください。
注意事項
次の表では、主要な開発トピックについて説明します。
カテゴリ | 説明 |
DataWorks での MaxCompute タスク開発では、DataWorks と関連サービスの両方で料金が発生します。 | |
DataWorks で MaxCompute タスクを開発する前に、ビジネスニーズに応じて必要な DataWorks エディションとリソースグループを購入し、 MaxCompute データソースを関連付けます。 | |
DataWorks は、プロダクトレベルおよびモジュールレベルの権限管理を提供し、MaxCompute データソースの視覚的な権限申請と承認をサポートします。 | |
Data Integration は MaxCompute からのデータ読み取りと書き込みを行い、バッチ同期、リアルタイム同期、完全同期、増分同期をサポートします。 | |
DataWorks は、大量の複雑で整理されていないデータを構造化し、管理するためのデータモデリングサービスを提供します。 また、スケジューリングタスクを開発するための DataStudio 機能も提供します。 DataStudio はオペレーションセンターと連携して、これらのタスクを監視および保守します。 | |
DataWorks は、MaxCompute のメタデータ管理とデータガバナンスを提供します。 | |
データ分析は、MaxCompute のデータ分析とサービス共有を提供します。 | |
DataWorks は、さまざまなアプリケーションシステムを迅速に統合できるオープン機能を提供します。 これにより、開発プロセス制御、データガバナンス、運用 & 保守 (O&M) が容易になり、統合システムからのビジネスステータスの変化に迅速に対応できます。 |
課金
DataStudio とオペレーションセンターでは、MaxCompute のデータ同期と処理タスクを定期的にスケジューリングできます。 これらの機能には、次の料金が発生します。
1. DataWorks の料金
これらの料金は DataWorks の請求書に記載されます。 DataWorks の課金の詳細については、「DataWorks の課金項目」をご参照ください。
料金 | 説明 |
DataWorks エディション料金 | タスクを開発する前に、DataWorks をアクティブ化する必要があります。 Standard Edition、Professional Edition、Enterprise Edition には有料サブスクリプションが必要です。 |
スケジューリングリソース料金 | タスクをスケジュールどおりに実行するには、スケジューリングリソースが必要です。 サーバーレスリソースグループ (推奨) または旧バージョンの専用リソースグループを使用できます。 説明 サーバーレスリソースグループは、タスクのスケジューリングとデータ同期の両方に使用できます。 |
同期リソース料金 | データ同期タスクには、スケジューリングリソースに加えて、専用の同期リソースが必要です。 データ統合には、サーバーレスリソースグループ (推奨) または旧バージョンの専用リソースグループを使用できます。 |
DataStudio ページの [実行] または [パラメーターを指定して実行] 機能を使用して実行されるタスクには、スケジューリング料金は請求されません。
実行に失敗したタスク、またはドライランとして実行されたタスクには、スケジューリング料金は請求されません。
課金の詳細をよりよく理解するために、「DataWorks がスケジューリングタスクをディスパッチする方法」をご参照ください。
2. DataWorks 関連以外の料金
これらの料金は DataWorks の請求書には記載されません。 タスクの開発および実行時に、次の料金が発生する場合があります。
他のサービスからの料金は、独自の課金ルールに従います。 詳細については、各サービスの課金ドキュメントをご参照ください。 MaxCompute の課金については、「MaxCompute の課金項目」をご参照ください。
料金 | 説明 |
データベース料金 | データ同期中にアップストリームおよびダウンストリームのデータベースで読み取りまたは書き込みを行うと、データベース料金が発生する場合があります。 |
コンピューティングおよびストレージ料金 | コンピュートエンジンでタスクを実行すると、コンピューティングおよびストレージ料金が発生する場合があります。 たとえば、テーブルを作成してデータを書き込む MaxCompute SQL タスクでは、MaxCompute のコンピューティングおよびストレージ料金が発生します。 |
ネットワークサービス料金 | DataWorks と関連サービス間のネットワーク接続には料金が発生する場合があります。 たとえば、Express Connect、Internet Shared Bandwidth、または Elastic IP Address (EIP) を使用すると、対応するサービスから料金が発生します。 |
環境の準備
1. リソースの準備
DataWorks は、Standard、Professional、Enterprise の各エディションと、テナント固有のサーバーレスリソースグループを提供します。 ニーズに合ったエディションとリソースグループを選択してください。
カテゴリ | 説明 | 関連ドキュメント |
エディションの選択 | DataWorks Basic Edition は、MaxCompute の基本的なデータ移行、開発、スケジューリング、および単純なデータガバナンスに対応しています。 高度なデータガバナンスとセキュリティ機能については、Standard、Professional、または Enterprise Edition を選択してください。 | |
リソースグループの選択 |
|
2. 開発環境の準備
DataWorks ワークスペースのデータソースとして MaxCompute プロジェクトを作成し、それを DataStudio に関連付け、オプションで共同開発のためにワークスペースメンバーを追加します。
カテゴリ | 説明 | 関連ドキュメント |
データ同期環境 | MaxCompute 同期タスクを実行する前に、MaxCompute プロジェクトをワークスペースのデータソースとして追加します。 その後、同期タスクを実行できるようになります。 | |
データ開発および分析環境 | MaxCompute スケジューリングタスクを実行する前に、MaxCompute プロジェクトをワークスペースのデータソースとして追加し、DataStudio に関連付けます。 関連付けられると、タスクを開発、分析、および定期的にスケジューリングできます。 | |
共同開発環境 | RAM ユーザーがワークスペースで共同開発できるようにするには、RAM ユーザーをワークスペースメンバーとして追加し、開発関連のロールを割り当てます。 |
権限管理
DataWorks は、プロダクトレベルおよびモジュールレベルの権限管理をサポートし、MaxCompute データソースの視覚的な権限申請と承認を提供します。 次のセクションでは、権限管理について詳しく説明します。
1. データアクセスと権限管理
基本モード のワークスペースでは、きめ細かい権限管理や開発環境と本番環境の分離はサポートされていません。MaxCompute SQL ノードまたはアドホッククエリノードを使用して、MaxCompute テーブルデータをクエリできます。 次の例では、標準モード のワークスペースを使用します。
デフォルトの権限
RAM ユーザーがワークスペースに追加された後のデフォルトのデータアクセス権限は次のとおりです。
権限タイプ
説明
MaxCompute 開発プロジェクトの権限
DataWorks は、定義済みのワークスペースレベルのロールを開発環境の MaxCompute データソースロールにマッピングします。 ワークスペースロールを持つ RAM ユーザーは、マッピングされたデータソースロールの権限を継承します。 デフォルトでは、RAM ユーザーは開発プロジェクトに対する権限を持ちますが、本番プロジェクトに対する権限は持ちません。
MaxCompute 本番プロジェクトの権限
スケジューリングアクセスアイデンティティを付与された RAM ユーザーのみが、本番環境の MaxCompute プロジェクトに対して広範な権限を持ちます。 他の RAM ユーザーは、本番プロジェクトに対する権限を持ちません。 本番テーブルを操作するには、セキュリティセンターに移動して権限を申請します。
DataWorks はデフォルトの承認プロセスを提供し、管理者が承認ワークフローをカスタマイズすることもできます。
MaxCompute のデータアクセス制御の詳細については、「MaxCompute データ権限管理」をご参照ください。
データアクセス動作
MaxCompute は、プロジェクト間のテーブルクエリをサポートします。 DataStudio では、プロジェクト名を指定することで、プロジェクト間で本番データをクエリできます。 次の表では、プロジェクト間のテーブルアクセスと使用されるアカウントについて説明します。
説明ワークスペースのデータソース情報で、さまざまな環境用に作成されたデータソースと、それらに設定された実行アカウントを表示できます。 詳細については、「MaxCompute コンピュートエンジンとワークスペースの関連付け」をご参照ください。
標準モードの DataWorks ワークスペースでは、開発環境のタスクはデフォルトで タスク実行者 の個人IDを使用して実行されます。 本番環境のタスクは、スケジューリングアクセスアイデンティティである特定の Alibaba Cloud アカウントを使用して実行されます。 詳細については、「MaxCompute コンピュートエンジンとワークスペースの関連付け」をご参照ください。
コード例
開発環境での実行
本番環境での実行
開発プロジェクトの開発テーブルにアクセスします。
select col1 from projectname_dev.tablename;タスク実行者個人の Alibaba Cloud アカウントが開発テーブルにアクセスします。
RAM ユーザーがタスクを実行する場合、RAM ユーザーの個人アカウントが使用されます。
プライマリ Alibaba Cloud アカウントがタスクを実行する場合、そのアカウントが使用されます。
スケジューリングアクセスアイデンティティが開発テーブルにアクセスします。
本番プロジェクトの本番テーブルにアクセスします。
select col1 from projectname.tablename;タスク実行者個人の Alibaba Cloud アカウントが本番テーブルにアクセスします。
説明セキュリティ制御のため、デフォルトでは個人のアカウントは本番テーブルにアクセスする権限がありません。 セキュリティセンターに移動して権限を申請する必要があります。 DataWorks はデフォルトの承認プロセスを提供し、カスタムの承認ワークフローもサポートします。
スケジューリングアクセスアイデンティティが本番テーブルにアクセスします。
現在の環境のテーブルにアクセスします (例：開発環境の開発テーブル)。
select col1 from tablename;開発環境で実行されると、タスクはタスク実行者個人の Alibaba Cloud アカウントを使用して、開発データソースのターゲットテーブルにアクセスします。
本番環境で実行されると、タスクはスケジューリングアクセスアイデンティティを使用して、本番データソースのターゲットテーブルにアクセスします。
2. 機能モジュールの権限管理
データ開発を開始する前に、ユーザーにワークスペースロールを割り当てて、適切な操作権限を付与します。 次の権限モデルが利用可能です。
RAM ポリシーベースの承認モデルは、DataWorks 機能モジュール (例：データマップへのアクセス拒否) およびコンソール操作 (例：ユーザーにワークスペースの削除を許可) の権限を管理します。
RBAC モデルは、ワークスペースレベルのモジュール (例：ユーザーに DataStudio へのアクセスを許可) およびグローバルモジュール (例：データセキュリティガードモジュールへのアクセスを拒否) の権限を管理します。
クイックスタート
DataWorks は複数の機能モジュールを提供します。 DataStudio でスケジューリングタスクを開発し、オペレーションセンターでそれらを監視および管理します。 DataWorks はまた、操作を標準化し、セキュリティを確保するための開発プロセス制御も提供します。
1. Data Integration
Data Integration は MaxCompute からのデータ読み取りと書き込みを行います。 MaxCompute と他のデータソース間で、バッチ、リアルタイム、完全、または増分モードでデータを同期できます。 詳細については、「Data Integration」をご参照ください。
2. データ開発と運用 & 保守 (O&M)
モジュール | 説明 | 関連ドキュメント |
データモデリング | データモデリングは、Alibaba のデータミドルプラットフォームの方法論を使用して、データウェアハウスの計画、データ標準、ディメンションモデル、およびデータメトリクスを定義するのに役立ちます。 これにより、企業はデータを迅速かつ一貫して理解し、使用することができます。 | |
DataStudio | DataWorks は MaxCompute コンピュートエンジン機能をカプセル化し、データ同期および開発タスクを実行できます。
| |
汎用ノードとコンピュートエンジンノードを組み合わせて、複雑なロジックを処理できます。 主なノードは次のとおりです。
| ||
ノードタスクを開発した後、必要に応じて次の操作を実行できます。
| ||
オペレーションセンター | オペレーションセンターは、ビッグデータタスクのためのワンストップの運用 & 保守 (O&M) および監視プラットフォームです。 リアルタイムのタスクステータス監視、インテリジェントな診断、異常タスクの再実行を提供します。 インテリジェントベースライン機能は、予測不可能な完了時間に対処し、大規模なタスク監視を簡素化することで、タイムリーなタスク出力を保証します。 | |
Data Quality | Data Quality は、データ開発ライフサイクル全体を通じてデータの可用性を保証します。 データ品質ルールを効率的に検証し、タスクスケジューリングプロセスと緊密に統合することで、品質問題をできるだけ早く検出し、データ品質問題の拡散を防ぎます。 これにより、ビジネスに効率的で信頼性の高いデータソースが提供されます。 |
3. データガバナンス
MaxCompute データソースを関連付けると、DataWorks は自動的にそのメタデータを収集します。 データマップを使用してメタデータを表示したり、データガバナンスセンターを使用して検出された問題を表示および解決したりできます。
モジュール | 説明 | 関連ドキュメント |
データマップ | データマップは、統一されたメタデータ基盤を使用して、データオブジェクトの管理、棚卸し、検索、理解を支援します。 | |
セキュリティセンター データセキュリティガード 承認センター | セキュリティセンターは、データ資産の分類、機密データの識別、データ承認、機密データのマスキング、アクセス監査、およびリスクの識別と対応を統合した、ワンストップのデータセキュリティガバナンスプラットフォームです。 | |
データガバナンスセンター | データガバナンスセンターは、データガバナンスを積極的かつ体系的に実行するのに役立ちます。 データドメインルールテンプレートを使用し、最適化が必要な資産を自動的に識別し、事前および事後の両方のガバナンス戦略を提供します。 |
4. データ分析とサービス
DataWorks は、データ処理、分析、およびサービス機能を提供し、一元管理された API を使用して効率的なデータ共有を実現します。
モジュール | 説明 | 関連ドキュメント |
データ分析 | データ分析では、オンライン SQL クエリを実行し、ビジネスインサイトを得て、データを編集および共有できます。 クエリ結果をチャートカードとして保存して、視覚的なデータレポートを構築することもできます。 | |
DataService Studio | DataService Studio は、包括的なデータサービスと共有機能を提供し、企業が社内外で使用する API サービスを一元管理するのに役立ちます。 |
5. オープンプラットフォーム
DataWorks オープンプラットフォームは、アプリケーションシステムを DataWorks と統合して、開発プロセス制御、データガバナンス、運用 & 保守 (O&M)、およびビジネスステータスの変化へのリアルタイム対応に役立ちます。
カテゴリ | 説明 | 関連ドキュメント |
OpenAPI | OpenAPI は、オンプレミスサービスと DataWorks 間のインタラクションのための API を提供し、手動操作、運用 & 保守 (O&M) のオーバーヘッド、データリスク、コストを削減しながら、ビッグデータ処理の効率を向上させます。 | |
OpenEvent | OpenEvent はメッセージサブスクリプションサービスを提供します。 DataWorks イベントをサブスクライブすることで、アプリケーションはリアルタイムのステータス変更を受信し、タイムリーな応答とパーソナライズされた意思決定を行うことができます。 | |
拡張機能 | 拡張機能を使用すると、サービスプログラムを登録して、サブスクライブされた OpenEvent メッセージをインターセプトして応答し、特定のイベントの通知とプロセス制御が可能になります。 |
付録： DataWorks と MaxCompute の関係
基本モードのワークスペースでは本番環境は1つのみで、単一の MaxCompute プロジェクトに対応します。 次の例では、標準モードのワークスペースを使用します。
DataWorks は、MaxCompute のタスクスケジューリング、メタデータ管理、データガバナンス、およびデータセキュリティ制御を提供しますが、計算とストレージは MaxCompute 内で行われます。 標準モードでは、DataWorks はストレージとリソースを分離するために、開発環境と本番環境に別々の MaxCompute プロジェクトを関連付けます。
DataWorks ワークスペースで MaxCompute データソースを作成し、それを DataStudio に関連付け、各環境で使用される MaxCompute プロジェクトを表示する方法については、「MaxCompute コンピュートエンジンとワークスペースの関連付け」をご参照ください。
DataWorks がスケジューリングタスクをディスパッチする方法については、「DataWorks がスケジューリングタスクをディスパッチする方法」をご参照ください。
