DataWorks:DataWorks での EMR タスク開発の注意事項

料金

説明

ご利用の DataWorks エディションの料金

DataWorks でタスクを開発するには、DataWorks をアクティブ化する必要があります。DataWorks Standard Edition、DataWorks Professional Edition、または DataWorks Enterprise Edition をアクティブ化した場合、エディション購入時にエディションの料金が請求されます。

タスクのスケジュールに使用するスケジューリングリソースの料金

タスクが開発された後、タスクをスケジュールするにはスケジューリングリソースが必要です。サーバーレス リソースグループ、または旧バージョンの専用スケジューリングリソースグループを購入して、リソースグループの料金を支払うことができます。サーバーレス リソースグループの購入をお勧めします。

データの同期に使用するリソースの料金

データ同期タスクは、スケジューリングリソースと同期リソースを消費します。サーバーレス リソースグループ、または旧バージョンのデータ統合専用リソースグループを購入して、リソースグループの料金を支払うことができます。サーバーレス リソースグループの購入をお勧めします。

料金

説明

データベース料金

データベースからデータを読み書きするためにデータ同期タスクを実行すると、データベース料金が発生する場合があります。

コンピューティングおよびストレージ料金

特定タイプのコンピューティングエンジンのタスクを実行すると、このタイプのコンピューティングエンジンのコンピューティングおよびストレージ料金が発生する場合があります。

ネットワークサービス料金

DataWorks と他の関連サービス間にネットワーク接続を確立すると、ネットワークサービス料金が発生する場合があります。たとえば、Express Connect、EIP（Elastic IP Address）、インターネット共有帯域幅などのサービスを使用して DataWorks と他の関連サービス間にネットワーク接続を確立すると、ネットワークサービス料金が請求される場合があります。

項目

説明

参照資料

DataWorks エディションの選択

DataWorks Basic Edition を使用すると、EMR データの開発中に次の基本操作を実行できます。データをクラウドに移行する、データを開発する、EMR タスクをスケジュールする、データを管理する。より高度なデータガバナンスとデータセキュリティ ソリューションを使用する場合は、DataWorks Standard Edition、DataWorks Professional Edition、DataWorks Enterprise Edition などの高度なエディションの DataWorks を購入できます。。

DataWorks エディション間の違い

リソースグループの選択

EMR タスクを実行するには、サーバーレス リソースグループまたは旧バージョンの排他的リソースグループのみを使用できます。サーバーレス リソースグループを使用することをお勧めします。

• サーバーレス リソースグループの作成と使用

• 旧バージョンのリソースグループを使用する

項目

説明

参照資料

データ同期環境の準備

EMR サービスに基づくデータ同期タスクを実行する前に、EMR サービスを DataWorks にデータソースとして追加する必要があります。

サポートされているデータソースの種類と同期操作

データ開発の 環境を準備するおよび分析

DataWorks で EMR タスクを定期的にスケジュールできるようにするには、EMR クラスタをデータソースとして DataWorks に追加する必要があります。 その後、データソースを使用して、データ開発、データ分析、定期的なタスク スケジューリングなどの操作を実行できます。

EMR クラスタを DataWorks に登録する

共同開発環境の準備

RAM ユーザーがワークスペースで互いに協力してデータを開発できるようにするには、次の操作を実行する必要があります。

• RAM ユーザーを現在のワークスペースにメンバーとして追加し、ワークスペースの RAM ユーザーに開発ロールを割り当てます。

• ワークスペース メンバーを目的の EMR クラスタに追加します。

• ワークスペースレベルのサービスに対する権限の管理

• OpenLDAP ユーザーの管理

モジュール

説明

参照

データモデリング

データモデリングは、エンドツーエンドのデータガバナンスの最初のステップです。データモデリングは、Alibaba データ中台のモデリング方法論を使用し、データウェアハウス計画、データ標準、ディメンションモデリング、およびデータメトリックモジュールを使用して、ビジネスの観点から企業のビジネスデータを解釈し、企業内の担当者がデータウェアハウスの仕様に準拠したビジネスデータの測定と解釈のアイデアを迅速に理解して共有できるようにします。

詳細については、「データモデリングの概要」をご参照ください。

DataStudio

DataWorks は、EMR コンピュートエンジンの機能をカプセル化します。このようにして、EMR コンピュートエンジンを使用して、EMR データの同期と開発タスクを実行できます。

• データ同期: DataStudio は、特定のバッチ同期シナリオとリアルタイム同期シナリオのみをサポートしています。データ同期シナリオの詳細については、「Data Integration の概要」をご参照ください。

• データ開発: 複雑なコマンドラインを使用する必要なく、DataWorks でさまざまなタイプのタスクを開発し、システムが定期的にスケジュールできるようにすることができます。

• 詳細については、「EMR Hive ノードを作成する」をご参照ください。

• 詳細については、「EMR MR ノードを作成する」をご参照ください。

• 詳細については、「EMR Spark SQL ノードを作成する」をご参照ください。

• 詳細については、「EMR Spark ノードを作成する」をご参照ください。

• 詳細については、「EMR Shell ノードを作成する」をご参照ください。

• 詳細については、「EMR Presto ノードを作成する」をご参照ください。

• 詳細については、「EMR Spark Streaming ノードを作成する」をご参照ください。

• 詳細については、「EMR Kyuubi ノードを作成する」をご参照ください。

• 詳細については、「EMR Trino ノードを作成する」をご参照ください。

• 詳細については、「EMR テーブルを作成する」をご参照ください。

• 詳細については、「EMR リソースを作成して使用する」をご参照ください。

• 詳細については、「EMR 関数を作成する」をご参照ください。

DataWorks で特定タイプのコンピュートエンジンの汎用ノードとノードを使用して、複雑なロジックを処理できます。

DataWorks は、次のタイプの汎用ノードをサポートしています。

• ワークフローの管理に使用されるゼロロードノード

• 外部スケジューリングシステムを使用して DataWorks 内のノードのスケジューリングをトリガーするシナリオ、OSS オブジェクト検査ノード、および FTP チェックノードで使用される HTTP トリガーノード

• ノードの入力パラメーターと出力パラメーターを渡すために使用される代入ノード、およびパラメーターノード

• ループでノードコードを実行するために使用される Do-while ノード、代入ノードの出力をループで走査して出力を判断するために使用される For-each ノード、および分岐ノード

• 一般的な Shell ノードや MySQL データベースノードなどのその他のノード

• 詳細については、「ゼロロードノードを作成して使用する」をご参照ください。

• 詳細については、「HTTP トリガーノードを作成する」をご参照ください。

• 詳細については、「OSS オブジェクト検査ノード」をご参照ください。

• 詳細については、「FTP チェックノードを作成する」をご参照ください。

• 詳細については、「代入ノードを構成する」をご参照ください。

• 詳細については、「パラメーターノードを作成する」をご参照ください。

• 詳細については、「Do-while ノードのロジック」をご参照ください。

• 詳細については、「For-each ノードのロジック」をご参照ください。

• 詳細については、「分岐ノードを構成する」をご参照ください。

ノードのタスクが開発された後、ビジネス要件に基づいて次の操作を実行できます。

• ノードのスケジューリングプロパティを構成する

  DataWorks がノードのタスクを定期的に実行するようにするには、スケジューリングの依存関係やスケジューリングパラメーターなど、ノードのスケジューリングプロパティを構成する必要があります。

• ノードをデバッグする

  本番環境のノードのタスクが効率的に実行され、計算リソースの無駄を防ぐために、タスクをデプロイする前にタスクをデバッグして実行することをお勧めします。

• ノードをデプロイする

  ノードのタスクは、本番環境にデプロイされた後にのみ、実行するようにスケジュールできます。したがって、タスクが開発された後、タスクを本番環境にデプロイする必要があります。タスクがデプロイされた後、[オペレーションセンター] の [自動トリガーノード] ページでタスクを表示および管理できます。

• ノードを管理する

  タスクのデプロイとデプロイ解除、複数のタスクのスケジューリングプロパティの同時変更など、ノードのタスクでさまざまな操作を実行できます。

• プロセス管理を実行する

  DataWorks は、タスクで実行される操作の正確性とセキュリティを確保するために、タスク開発とデプロイのプロセスコントロールを提供します。たとえば、DataWorks は、コードレビュー、強制スモークテスト、およびコードレビューロジックのカスタマイズ機能を提供します。

• 詳細については、「概要」をご参照ください。

• 詳細については、「デバッグ手順」をご参照ください。

• 詳細については、「ノードをデプロイする」をご参照ください。

• 詳細については、「バッチ操作を実行する」をご参照ください。

• 詳細については、「プロセス管理」をご参照ください。

オペレーションセンター

オペレーションセンターは、エンドツーエンドのビッグデータ O&M および監視プラットフォームです。オペレーションセンターでは、タスクのステータスを表示し、例外が発生したタスクで O&M 操作を実行できます。たとえば、オペレーションセンターでインテリジェント診断を実行したり、タスクを再実行したりできます。オペレーションセンターは、重要なタスクの制御不能な出力時間や膨大なタスクの監視の難しさなどの問題を解決するために使用できるインテリジェントベースライン機能を提供します。この機能は、タスク出力の適時性を確保するのに役立ちます。

詳細については、「自動トリガーノードで基本的な O&M 操作を実行する」をご参照ください。

Data Quality

Data Quality は、エンドツーエンドのデータ R&D プロセスでデータの可用性を確保し、ビジネスに信頼できるデータを効率的に提供します。Data Quality は、効果的な監視ルールベースの品質チェックと、監視ルールとタスクスケジューリングプロセスの組み合わせにより、データ品質の問題をできるだけ早く特定し、データ品質の問題のエスカレーションを防ぐのに役立ちます。

詳細については、「Data Quality の概要」をご参照ください。

モジュール

説明

参照

データマップ

データマップは、基盤となる統合メタデータサービスに基づいて、データオブジェクトの管理、ソート、クイック検索、および詳細な理解機能を提供するエンタープライズグレードのデータ管理プラットフォームです。

詳細については、「データマップの概要」をご参照ください。

セキュリティセンター

データセキュリティガード

承認センター

セキュリティセンターは、データ資産の分類、機密データの識別、データ関連の承認の管理、機密データのマスキング、機密データへのアクセスの監査、リスクの識別と対応を網羅するエンドツーエンドのデータセキュリティガバナンスプラットフォームです。セキュリティセンターは、データセキュリティガバナンスの問題を特定するのに役立ちます。

• 詳細については、「セキュリティセンターの概要」をご参照ください。

• 詳細については、「データセキュリティガードの概要」をご参照ください。

• 承認センターの概要

データガバナンスセンター

データガバナンスセンターは、データ関連分野での経験に基づくルールに基づいて、複数のガバナンスフィールドに対して管理されるべき項目を自動的に識別し、イベント発生前の問題防止とイベント発生後の問題解決を網羅するガバナンスおよび最適化ソリューションを提供します。 データガバナンスセンターは、データガバナンスを積極的にかつ体系的に完了するのに役立ちます。

データガバナンスセンターの概要

モジュール

説明

参照資料

DataAnalysis

DataWorks の DataAnalysis モジュールは、SQL ベースの分析をオンラインで実行し、ビジネス要件を把握し、データを編集および共有するのに役立ちます。また、クエリ結果をチャートカードとして保存し、チャートカードに基づいて視覚化されたデータレポートを迅速に生成して、日次レポートを作成できます。

詳細については、「DataAnalysis の概要」をご参照ください。

DataService Studio

DataService Studio は、企業向けの包括的なデータサービスおよび共有機能を提供するように設計されており、企業が内部システムと外部システムの API サービスを一元的に管理するのに役立ちます。

詳細については、「DataService Studio の概要」をご参照ください。

項目

説明

参照資料

OpenAPI

OpenAPI モジュールを使用すると、DataWorks API 操作を呼び出すことができるため、アプリケーションを DataWorks と統合できます。 これにより、ビッグデータ処理の促進、手動操作と O&M 操作の削減、データリスクの最小化、企業のコスト削減に役立ちます。

OpenAPI

OpenEvent

OpenEvent モジュールを使用すると、アプリケーションに関連する DataWorks 変更イベントをサブスクライブできるため、変更をできるだけ早く検出して対応できます。

OpenEvent の概要

拡張機能

OpenEvent モジュールを使用して、DataWorks ワークスペースで生成されたイベントメッセージをサブスクライブできます。 Extensions モジュールを使用して、ローカルプログラムを拡張機能として登録し、拡張ポイントイベントとプロセスを管理できます。

拡張機能の概要