DataWorks を使用すると、Hologres に基づいて、リアルタイム データウェアハウスとアドホック分析システムを簡単に構築できます。DataWorks コンソールでは、Hologres タスクの設定、タスクの定期スケジュールの有効化、タスクのメタデータの管理を行い、データが効率的かつ安定的に生成および管理されるようにすることができます。このトピックでは、DataWorks での Hologres タスクの基本的な開発プロセス、課金、環境の準備、および権限管理について説明します。
前提条件
DataWorks がアクティブ化されていること。詳細については、「DataWorks のアクティブ化」をご参照ください。
DataWorks がアクティブ化されていること。詳細については、「DataWorks のアクティブ化」をご参照ください。
DataWorks ワークスペースが作成されていること。詳細については、「ワークスペースの作成と管理」をご参照ください。
利用上の注意
次の表に、DataWorks での Hologres タスク開発の利用上の注意を示します。
項目 | 説明 |
DataWorks で Hologres タスクを開発する場合、DataWorks リソースだけでなく、他の Alibaba Cloud サービスのリソースについても課金されます。 | |
DataWorks で Hologres タスクを開発する前に、ビジネス要件に基づいて特定のエディションの DataWorks とリソースグループを購入し、Hologres データソースを追加してから、データソースをワークスペースに関連付けます。 | |
DataWorks は、製品レベルの権限とモジュールレベルの権限を管理するために使用できる包括的な権限管理システムを提供します。ビジネス要件に基づいて異なるユーザーに異なる権限を付与することで、権限の詳細な管理を実現できます。 | |
DataWorks Data Integration を使用すると、Hologres からデータを読み取り、Hologres にデータを書き込むことができます。DataWorks は、バッチ同期、リアルタイム同期、フル同期と増分同期など、さまざまなデータ同期シナリオを提供します。 | |
DataWorks は、大量の順序付けられていない複雑なデータを構造化および管理するために使用されるデータモデリング サービスを提供します。DataWorks は、スケジュールされたタスクを開発するための DataStudio サービス も提供します。タスクが開発された後、オペレーションセンター に移動して、タスクの監視と O&M 操作を実行できます。 | |
DataWorks では、Hologres のメタデータを管理し、Hologres データを管理できます。 | |
DataWorks DataAnalysis は、Hologres データ分析およびサービス共有機能を提供します。 | |
DataWorks は、アプリケーションシステムを DataWorks と迅速に統合できるオープン機能を提供します。DataWorks を使用して、データ関連プロセスを管理し、データを管理し、データの O&M 操作を実行し、アプリケーションシステムのビジネス ステータスの変更に迅速に対応できます。 |
課金
DataWorks を使用すると、DataStudio で Hologres 同期タスクとデータ処理タスクを作成でき、オペレーションセンターでこれらのタスクの定期スケジュールをサポートします。DataWorks リソースだけでなく、他の Alibaba Cloud サービスのリソースについても課金されます。次の表に詳細を示します。
1. DataWorks リソースの料金
このセクションでは、DataWorks の請求書に含まれる料金について説明します。DataWorks の課金項目については、「課金の概要」をご参照ください。
料金 | 説明 |
使用している DataWorks エディションの料金 | DataWorks でタスクを開発するには、DataWorks をアクティブ化する必要があります。DataWorks Standard Edition、DataWorks Professional Edition、または DataWorks Enterprise Edition をアクティブ化すると、エディションの購入時にエディションの料金が課金されます。 |
タスクのスケジュールに使用したスケジューリングリソースの料金 | タスクが開発された後、タスクをスケジュールするにはスケジューリングリソースが必要です。サーバーレス リソースグループまたはスケジューリング用の旧バージョンの専用リソースグループを購入し、リソースグループの料金を支払うことができます。サーバーレス リソースグループの購入をお勧めします。 説明 購入したサーバーレス リソースグループは、タスクのスケジュールとデータ同期に使用できます。 |
データの同期に使用したリソースの料金 | データ同期タスクは、スケジューリングリソースと同期リソースを消費します。Data Integration 用のサーバーレス リソースグループまたは旧バージョンの専用リソースグループを購入し、リソースグループの料金を支払うことができます。サーバーレス リソースグループの購入をお勧めします。 |
DataStudio ページの上部ツールバーの [実行] または [パラメーター付き実行] をクリックしてノードでタスクを実行する場合、スケジュール料金は発生しません。
失敗したタスクまたはドライラン タスクのスケジュール料金は発生しません。
課金の詳細を理解するのに役立つ詳細については、「DataWorks でのスケジューリングタスクの発行ロジック」をご参照ください。
2. 他の Alibaba Cloud サービスのリソースの料金
このセクションでは、DataWorks の請求書に含まれていない料金について説明します。DataWorks でタスクを開発および実行するために使用される他の Alibaba Cloud サービスのリソースについても課金される場合があります。
他の Alibaba Cloud サービスのリソースについては、Alibaba Cloud サービスの課金ロジックに基づいて課金されます。詳細については、Alibaba Cloud サービスの課金ドキュメントをご参照ください。たとえば、Hologres コンピュートエンジンを使用する場合、Hologres の課金ロジックに基づいて課金されます。詳細については、「Hologres の課金項目」をご参照ください。
料金 | 説明 |
データベース料金 | データ同期タスクを実行してデータベースからデータを読み書きすると、データベース料金が発生する場合があります。 |
コンピューティングとストレージの料金 | 特定のコンピューティングエンジンのタイプのタスクを実行すると、このタイプのコンピューティングエンジンのコンピューティングとストレージの料金が発生する場合があります。たとえば、Hologres SQL タスクを作成して実行し、Hologres データをクエリすると、Hologres コンピュートエンジンのコンピューティングとストレージのリソースに対して課金される場合があります。 |
ネットワークサービス料金 | DataWorks と他の関連サービス間でネットワーク接続を確立すると、ネットワークサービス料金が発生する場合があります。たとえば、Express Connect、EIP（Elastic IP Address）、インターネット共有帯域幅などのサービスを使用して DataWorks と他の関連サービス間でネットワーク接続を確立すると、ネットワークサービス料金が課金される場合があります。 |
環境の準備
DataWorks で Hologres タスクを開発する前に、ビジネス要件に基づいて特定のエディションの DataWorks とリソースグループを購入し、Hologres コンピュートエンジンを DataWorks ワークスペースに関連付け、開発環境を準備する必要があります。次の表に詳細を示します。
1. リソースの準備
DataWorks は、さまざまな機能をサポートする Standard Edition、Professional Edition、および Enterprise Edition を提供します。DataWorks は、テナント専用のサーバーレス リソースグループも提供します。ビジネス要件に基づいて DataWorks エディションとリソースグループを選択できます。
項目 | 説明 | 参照 |
DataWorks エディションの選択 | DataWorks Basic Edition を使用すると、Hologres データの開発中に次の基本操作を実行できます。データをクラウドに移行し、データを開発し、Hologres タスクをスケジュールし、データを管理します。より高度なデータガバナンスとデータセキュリティソリューションを使用する場合は、DataWorks Standard Edition、DataWorks Professional Edition、または DataWorks Enterprise Edition を購入できます。 | DataWorks Basic Edition と DataWorks Advanced Edition の比較とエディションのアップグレードの説明 |
リソースグループの選択 |
|
2. 開発環境の準備
データを開発する前に、Hologres インスタンスをデータソースとして DataWorks ワークスペースに追加し、データソースを DataStudio に関連付ける必要があります。ユーザーをワークスペースにメンバーとして追加できます。これにより、共同データ開発が容易になります。
項目 | 説明 | 参照 |
データ同期環境の準備 | DataWorks で Hologres 同期タスクを実行して Hologres との間でデータを同期する前に、Hologres インスタンスをデータソースとして DataWorks ワークスペースに追加する必要があります。データソースが追加された後にのみ、データソースの同期タスクを設定できます。 | |
データ開発と分析のための環境の準備 | DataWorks を使用して Hologres タスクをスケジュールする前に、Hologres インスタンスをデータソースとして DataWorks ワークスペースに追加し、データソースを DataStudio に関連付ける必要があります。その後、データソースに基づいて、データ開発、データ分析、定期タスクスケジューリングなどの操作を実行できます。 | |
共同開発環境の準備 | RAM ユーザーがワークスペースで互いに協力してデータを開発できるようにするには、次の操作を実行する必要があります。
|
権限管理
DataWorks は、製品レベルの権限とモジュールレベルの権限を管理するために使用できる包括的な権限管理システムを提供します。ビジネス要件に基づいて異なるユーザーに異なる権限を付与できます。権限管理の詳細：
1. データアクセス権限の管理
DataWorks ワークスペースに追加された RAM ユーザーを使用して DataWorks で Hologres タスクを開発する場合は、RAM ユーザーに Hologres コンピュートエンジンインスタンスに対する権限、ワークスペースに関連付けた Hologres データソースに対する権限、および関連テーブルに対する権限を付与する必要があります。詳細については、「Hologres の権限管理」をご参照ください。
2. サービスと機能に対する権限の管理
RAM ユーザーとして DataWorks でデータを開発する前に、ワークスペースレベルのロールを RAM ユーザーに割り当てて、RAM ユーザーに特定の権限を付与する必要があります。詳細については、「RAM ユーザーの権限を管理するためのベストプラクティス」をご参照ください。次の権限管理システムを確認してください。
RAM ポリシーベースの権限付与を使用して、DataWorks ユーザーがデータマップにアクセスできないようにするなど、DataWorks サービсмодулейに対する権限を管理したり、DataWorks ユーザーがワークスペースを削除できるようにするなど、DataWorks コンソールでの操作の実行に対する権限を管理したりできます。
ロールベースアクセス制御（RBAC）を使用して、DataWorks ユーザーが DataStudio にアクセスして開発関連の操作を実行できるようにするなど、DataWorks ワークスペースレベルのサービсмодулейに対する権限を管理したり、DataWorks ユーザーがデータセキュリティガードにアクセスできないようにするなど、DataWorks グローバルレベルのサービсмодулейに対する権限を管理したりできます。
はじめに
DataWorks は複数のモジュールを提供します。DataStudio でスケジューリングプロパティが設定されているタスクを開発できます。タスクが開発された後、本番環境のオペレーションセンターに移動して、タスクの監視と O&M 操作を実行できます。DataWorks は、タスク開発とデプロイのプロセスコントロールも提供して、データ開発操作を標準化し、データ開発のセキュリティを確保します。
1. データ統合
DataWorks Data Integration を使用すると、Hologres からデータを読み取り、Hologres にデータを書き込むことができます。Hologres データソースと別のタイプのデータソース間でデータを同期できます。さらに、DataWorks は、バッチ同期、リアルタイム同期、フル同期と増分同期など、さまざまなデータ同期シナリオを提供します。ビジネス要件に基づいて選択できます。詳細については、「Data Integration の概要」をご参照ください。
2. データモデリングと開発
モジュール | 説明 | 参照 |
データモデリング | データモデリングは、エンドツーエンドのデータガバナンスの最初のステップです。データモデリングは、Alibaba データ中台のモデリング方法論を使用し、データウェアハウス計画、データ標準、ディメンションモデリング、およびデータメトリックモジュールを使用して、ビジネスの観点から企業のビジネスデータを解釈し、企業内の担当者がデータウェアハウスの仕様に準拠したビジネスデータの測定および解釈の考え方をすばやく理解して共有できるようにします。 | |
DataStudio | DataWorks は、Hologres コンピュートエンジンの機能をカプセル化し、Hologres データ同期タスクと Hologres データ開発タスクを実行できるようにします。
| |
DataWorks で一般的なノードと特定タイプのコンピューティングエンジンのノードを使用して、複雑なロジックを処理できます。 DataWorks は、次のタイプの一般的なノードをサポートしています。
| ||
ノードのタスクが開発された後、ビジネス要件に基づいて次の操作を実行できます。
| ||
オペレーションセンター | オペレーションセンターは、エンドツーエンドのビッグデータ O&M および監視プラットフォームです。オペレーションセンターでは、タスクのステータスを表示し、例外が発生したタスクで O&M 操作を実行できます。たとえば、オペレーションセンターでインテリジェント診断を実行し、タスクを再実行できます。オペレーションセンターは、重要なタスクの制御不能な出力時間や膨大なタスクの監視の難しさなどの問題を解決するために使用できるインテリジェントベースライン機能を提供します。この機能は、タスク出力の適時性を確保するのに役立ちます。 | |
データ品質 | Data Quality は、エンドツーエンドのデータ R&D プロセスにおけるデータの可用性を確保し、ビジネスに信頼できるデータを効率的に提供します。Data Quality を使用すると、データ品質の問題を早期に特定し、効果的な監視ルールベースの品質チェックと、監視ルールとタスクスケジューリングプロセスの組み合わせによって、データ品質の問題のエスカレーションを防ぐことができます。 |
3. データガバナンス
Hologres データソースを DataWorks ワークスペースに関連付けると、DataWorks はデータソースのメタデータを自動的に収集します。データマップに移動して、データソースのメタデータを表示できます。また、データガバナンスセンターに移動して、DataWorks によって検出されたデータガバナンスの問題を表示することもできます。
モジュール | 説明 | 参照 |
データマップ | Data Map は、エンタープライズグレードのデータ管理プラットフォームです。基盤となる統合メタデータサービスに基づいて、データオブジェクトの管理、ソート、クイック検索、および詳細な理解機能を提供します。 | |
セキュリティセンター データセキュリティガード 承認センター | Security Center は、データ資産の分類、機密データの識別、データ関連の承認の管理、機密データのマスキング、機密データへのアクセスの監査、およびリスクの識別と対応を網羅するエンドツーエンドのデータセキュリティガバナンスプラットフォームです。Security Center は、データセキュリティガバナンスの問題を特定するのに役立ちます。 | |
データガバナンスセンター | Data Governance Center は、データ関連分野での経験に基づくルールに基づいて、複数のガバナンス フィールドのガバナンス対象項目を自動的に識別し、イベント発生前の問題防止とイベント発生後の問題解決を網羅するガバナンスおよび最適化 ソリューションを提供します。Data Governance Center を使用すると、データガバナンスを積極的に体系的に完了できます。 |
4. データ分析とサービス
DataAnalysis と DataService Studio は、企業にデータ処理と分析機能を提供し、企業が統一的に管理されている API を使用してデータにアクセスして共有できるように設計されています。
モジュール | 説明 | 参照 |
DataAnalysis | DataWorks の DataAnalysis モジュールは、SQL ベースの分析をオンラインで実行し、ビジネス要件を把握し、データを編集および共有するのに役立ちます。また、クエリ結果をチャートカードとして保存し、チャートカードに基づいて視覚化されたデータレポートを迅速に生成して、日次レポートを作成できます。 | 詳細については、「DataAnalysis の概要」をご参照ください。 |
DataService Studio | DataService Studio は、企業向けに包括的なデータサービスと共有機能を提供するように設計されており、企業が内部システムと外部システムの API サービスを一元的に管理できるようにします。 | 詳細については、「DataService Studio の概要」をご参照ください。 |
5. オープンプラットフォーム
DataWorks は、アプリケーションシステムを DataWorks と迅速に統合できるオープン性機能を提供します。DataWorks を使用して、データ関連プロセスを管理し、データを管理し、データの O&M 操作を実行し、アプリケーションシステムのビジネス ステータスの変更に迅速に対応できます。
項目 | 説明 | 参照 |
OpenAPI | OpenAPI モジュールを使用すると、DataWorks API 操作を呼び出すことができるため、アプリケーションを DataWorks と統合できます。 これにより、ビッグデータ処理の促進、手動操作と O&M 操作の削減、データリスクの最小化、企業のコスト削減に役立ちます。 | |
OpenEvent | OpenEvent モジュールを使用すると、アプリケーションに関連する DataWorks 変更イベントをサブスクライブできるため、変更をできるだけ早く検出して対応できます。 | |
拡張機能 | OpenEvent モジュールを使用すると、DataWorks ワークスペースで生成されたイベントメッセージをサブスクライブできます。Extensions モジュールを使用すると、ローカルプログラムを拡張機能として登録して、拡張ポイントイベントとプロセスを管理できます。 |
付録：DataWorks と Hologres の関係
基本モードでワークスペースを使用する場合、本番環境のみが提供され、ワークスペースに関連付けることができる Hologres データベースは 1 つだけです。このトピックでは、標準モードのワークスペースを使用します。
DataWorks は、Hologres 関連の機能をいくつか提供します。たとえば、DataWorks で Hologres バッチ同期タスクのスケジュール、Hologres メタデータの管理、Hologres データの管理、および Hologres データのセキュリティ制御を実行できます。タスクのデータコンピューティングとストレージは引き続き Hologres で実行されます。標準モードでワークスペースを使用する場合は、開発環境と本番環境で異なる Hologres インスタンスをワークスペースに関連付けることができます。これにより、ストレージやリソースなどの項目が開発環境と本番環境の間で分離されます。
Hologres データソースを DataWorks ワークスペースに追加して DataStudio に関連付ける方法、および異なる環境で使用される Hologres インスタンスを表示する方法については、「Hologres データソースの追加」をご参照ください。
DataWorks でスケジュールされているタスクの発行ロジックについては、「オペレーションセンター」をご参照ください。
