DataWorks:機能

概要

DataWorks の データ統合 は、バッチ同期、リアルタイム同期、および統合された完全同期と増分同期をサポートしています。

• バッチ同期のシナリオでは、同期タスクにスケジューリング周期を設定できます。

• リレーショナルデータベース、データウェアハウス、非リレーショナルデータベース、ファイルストレージ、メッセージキューなど、50 種類以上の異種データソース間のデータ同期をサポートしています。

• さまざまな複雑なネットワーク環境にあるデータソースに接続するためのネットワークソリューションを提供します。データソースがパブリッククラウド、IDC、または VPC 内にあるかどうかにかかわらず、データ統合を使用してネットワーク接続を確立できます。

• セキュリティコントロールと O&M (運用保守) モニタリングをサポートし、安全で制御可能なデータ同期を実現します。

コア技術とアーキテクチャ

• エンジンアーキテクチャ： データ統合は、星型のエンジンアーキテクチャを採用しています。データソースをデータ統合に接続すると、他のサポートされているデータソースとの同期リンクを形成できます。サポートされているデータソースのリストについては、サポートされているデータソースと同期ソリューションをご参照ください。

• データ統合のためのリソースグループとネットワーク接続： データを同期する前に、適切なネットワーク接続ソリューションを使用して、データソースをリソースグループに接続します。現在、データ統合タスクは、サーバーレスリソースグループ (推奨) および データ統合専用リソースグループ (レガシー) でのみ実行できます。詳細については、ネットワーク接続ソリューションをご参照ください。

  

ユースケース

データ統合は、データレイクやデータウェアハウスへのデータ取り込み、データベースとテーブルのシャーディング、リアルタイムデータアーカイブ、クラウド間のデータフローなど、さまざまなデータ転送シナリオに適しています。

概要

DataStudio の主な機能は次のとおりです。

• DataStudio は、MaxCompute、E-MapReduce、CDH、Hologres、AnalyticDB、ClickHouse などの複数のコンピュートエンジンをサポートしています。これらのエンジンのタスクを単一のプラットフォームから開発、テスト、デプロイ、運用できます。

• そのスケジューリング機能は、Alibaba グループ内の複雑なスケジューリングタスクとビジネス依存関係によって実証されています。

• DataStudio は、隔離された開発環境と本番環境を提供します。バージョン管理、コードレビュー、スモークテスト、デプロイメント制御、運用監査などの機能と組み合わせることで、企業はデータ開発を標準化できます。

• オペレーションセンターは、データ適時性保証、タスク診断、影響分析、自動 O&M、モバイルベースの O&M などの機能をサポートしています。

コア技術とアーキテクチャ

• 効率的で標準化された開発ワークフロー

  説明

  DataWorks は、開発環境と本番環境を隔離するために標準モードのワークスペースを提供します。標準モードの詳細については、ワークスペースモードの違いをご参照ください。

• ビジュアル開発インターフェイス：ドラッグアンドドロップを使用してタスクワークフローを構築し、統一されたインターフェイスでデータ開発とスケジューリングを設定します。

• タスクのモニタリングとトラブルシューティング

概要

インテリジェントデータモデリング製品には、倉庫計画番号、データ標準、次元モデリング、データインジケータ の 4 つのモジュールが含まれています。

• 倉庫計画番号：データウェアハウスのレイヤー、データドメイン、データマートを計画します。モデル設計スペースを設定することで、異なる部門が統一されたデータ標準とデータモデルを共有できます。

• データ標準：フィールド標準、標準コード、測定単位、命名辞書を定義します。また、標準コードからデータ品質ルールを自動生成して、コンプライアンスチェックを簡素化することもできます。

• 次元モデリング：リバースモデリングを使用して、既存のデータウェアハウスのコールドスタート問題を解決します。データウェアハウスのビジュアルなディメンショナルモデリングをサポートしています。Excel ファイルからモデルをインポートしたり、SQL に似たドメイン特化言語 (DSL) である FML を使用して、迅速にモデルを構築したりできます。DataStudio とシームレスに統合し、ETL コードを自動生成します。

• データインジケータ：アトミックメトリクスと派生メトリクスを定義・構築します。この機能はディメンショナルモデリングとシームレスに統合されており、アトミックメトリクスと異なるディメンションに基づいて派生メトリクスをバッチ作成できます。

コア技術とアーキテクチャ

ユースケース

データモデリングは、企業が独自のモデリング能力を構築し、データ資産の価値を掘り起こすのに役立ちます。例：

• 大量データの標準化管理

  大企業ほどデータ構造は複雑になります。構造化され、秩序だった方法でデータを管理・保存する方法は、すべての大企業が直面する課題です。

• ビジネスデータの相互接続による情報の壁の打破

  企業内の各ビジネスや部門のデータが互いに隔離されている場合、意思決定者はデータを明確かつ完全に理解することができません。部門やビジネスドメイン間のデータサイロをいかにして打破するかは、ビジネスデータ管理における大きな課題です。

• データ標準の統合による統一的で柔軟なデータ相互接続の実現

  同じデータに対する記述が矛盾していると、データの重複、計算結果の誤り、ビジネスデータ管理の困難さを引き起こします。元のシステムアーキテクチャーを変更せずに統一されたデータ標準を策定し、上流と下流のビジネス間で柔軟な相互接続を実現する方法は、標準化管理の核心的な焦点の 1 つです。

• データ価値の最大化による利益の最大化

  さまざまな種類の企業データを最大限に活用し、データ価値を最大化して、企業により効率的なデータサービスを提供します。

概要

データ分析は、個人データのアップロード、パブリックデータセットの使用、テーブルの検索とブックマーク、オンライン SQL クエリの実行、SQL ファイルの共有、クエリ結果のダウンロード、スプレッドシートを使用した大画面でのデータ表示などの機能をサポートしています。

ユースケース

データ分析は、データアナリスト、プロダクトマネージャー、運用担当者など、専門のデータ開発者以外のユーザーが、効率的、大規模、流動的、かつ安全なデータ分析を実行するのに適しています。

• スケール：コンピュートエンジンの能力を活用して、フルスケールの巨大なデータセットを効率的に分析します。

• フロー：さまざまな業務システムのデータベースからデータを取得して、オンラインデータ分析を実行します。データ分析では、データを MaxCompute テーブルにエクスポートしたり、クエリ結果を特定のメンバーと共有して権限を付与したりできます。これにより、異なるシステムや担当者間でデータを流動させることができます。

• セキュリティ：SQL クエリやクエリ結果のダウンロードを含むすべての操作を、セキュリティ監査と統合できます。

概要

コア技術とアーキテクチャ

DataService Studio はサーバーレスアーキテクチャを使用しています。基盤となるインフラストラクチャを気にすることなく、API のクエリロジックに集中するだけで済みます。DataService Studio はコンピューティングリソースをプロビジョニングし、弾力的なスケーリングをサポートすることで、O&M コストゼロを実現します。

概要

オープンプラットフォームは、OpenAPI、OpenEvent、および拡張機能を提供します。

• OpenAPI：OpenAPI を使用して、独自のアプリケーションを DataWorks と深く統合できます。たとえば、タスクをバッチで作成、デプロイ、管理して、ビッグデータ処理の効率を向上させ、手動操作のコストを削減できます。

  詳細については、OpenAPI をご参照ください。

• OpenEvent：OpenEvent を使用して DataWorks のシステムイベントをサブスクライブし、イベントの変更をリアルタイムで取得して対応できます。たとえば、テーブル変更イベントをサブスクライブしてコアテーブルのリアルタイムモニタリングを実装したり、タスク変更イベントをサブスクライブしてカスタムのリアルタイムタスクモニタリングダッシュボードを構築したりできます。

  詳細については、OpenEvent をご参照ください。

• 拡張機能：拡張機能は、OpenAPI と OpenEvent を組み合わせたサービスレベルのプラグインです。拡張機能を使用して、DataWorks のプロセス制御をカスタマイズできます。たとえば、カスタムのデプロイメント制御プラグインを作成して、仕様や要件を満たさないタスクをブロックできます。

  詳細については、拡張機能 をご参照ください。

ユースケース

オープンプラットフォームは、深いシステム統合、自動化された運用、プロセス定義、およびビジネスモニタリングのための包括的なオープン機能を提供します。ユーザーとパートナーは、DataWorks オープンプラットフォームに基づいて、業界固有およびシナリオベースのデータアプリケーションとプラグインを構築できます。

概要

移行アシスタントとクラウド移行サービスの主な機能は次のとおりです。

• クラウドへのタスク移行：オープンソースのスケジューリングエンジンから DataWorks へジョブを移行します。

• DataWorks 移行：DataWorks エコシステム内の開発資産を移行します。

ユースケース

この機能は、以下のシナリオに適しています。

• クラウドへのタスク移行：オープンソースのスケジューリングエンジンから DataWorks へジョブを移行します。

• タスクのバックアップ：移行アシスタントを使用して定期的にタスクコードをバックアップし、誤ったプロジェクトの削除による損失を最小限に抑えることができます。

• 迅速なビジネスレプリケーション：共通のビジネスロジックを抽象化し、移行アシスタントのエクスポートおよびインポート機能を使用して、迅速にレプリケーションできます。

• テスト環境の迅速な作成：移行アシスタントを使用してビジネスコードを完全にレプリケーションします。テスト環境をセットアップするには、データ入力を本番データベースからテストデータに変更するだけで済みます。

• クラウド間の開発：パブリッククラウド上の DataWorks とプライベートクラウド内の DataWorks との間でデータをインポートおよびエクスポートして、協調開発を実現します。