Alibaba Cloud Full Link Data Lake Development and Governance Solution

Alibaba Cloud はフルリンクデータレイクソリューションをリリースしました。このソリューションは、オープンソースビッグデータプラットフォーム E-MapReduce (EMR)、ワンストップビッグデータ開発・ガバナンスプラットフォーム DataWorks、データレイク構築ツール DLF、オブジェクトストレージ OSS などのコアプロダクトで構成されています。

最近、Alibaba Cloud EMR は新バージョンの Datalake をリリースしました。コミュニティのビッグデータオープンソースコンポーネントと 100% 互換性があり、高い柔軟性を備えています。データレイク構築には DLF を利用し、データレイクストレージとして OSS および OSS-HDFS をサポート。Delta Lake、Hudi、Iceberg の各レイクフォーマットに対応しています。また、新バージョンの Datalake は Alibaba Cloud のワンストップビッグデータ開発・ガバナンスプラットフォーム DataWorks と連携し、10 年以上にわたる Alibaba のビッグデータ構築方法論を蓄積。データ取り込み、モデリング、開発、スケジューリング、ガバナンス、セキュリティなど、フルリンクデータレイク開発・ガバナンス機能を実現し、お客様のデータ活用効率の向上を支援します。

さらに、このソリューションは「統合メタデータ管理、データ取り込み、データストレージ、キャッシュ高速化、エラスティックコンピューティング、コンテナ、データ分析、タスクスケジューリング、運用保守管理、セキュリティ」といった包括的なデータレイク機能を備えています。中華人民共和国工業情報化部のビッグデータ能力専門評価を通過し、「クラウドネイティブデータレイク基礎能力特別評価証明書」を取得しました。

Alibaba Cloud フルリンクデータレイク開発・ガバナンスソリューションアーキテクチャ

Alibaba Cloud のフルリンクデータレイク開発・ガバナンスソリューションは、OSS/OSS-HDFS をデータレイクストレージとして使用し、DLF をデータレイク構築・管理ツール、JindoFS をレイクキャッシュ高速化、EMR をレイクコンピューティング用のエラスティックコンピューティングエンジン、DataWorks をデータ開発・ガバナンスとして活用します。DataWorks の各モジュールは DataLake と深く統合されており、ワンストップのデータレイク開発・ガバナンスを実現します。

EMR 新データレイククラスター

運用保守管理・コア制御機能の概要

弾力性

1. 弾力スケーリングはクラスター負荷と時間の 2 つのモードをサポート

2. 弾力スケーリンググループは複数のインスタンス仕様をサポート

3. プリエンプティブインスタンスをサポート（従量課金コストより 80% 以上削減）

4. コスト最適化モードをサポート（従量課金と月額パッケージの柔軟な割合設定）

クラスター制御機能

1. 分単位でのクラスター作成と拡張。サービスの手動デプロイや起動は不要

2. ハードウェアとエンジンサービスをカバーする包括的なクラスターモニタリング・アラートシステム。アラートテンプレートの設定もサポート

新バージョンデータレイクの Hadoop クラスターに対する優位性

パフォーマンスの向上

・高速化

新データレイククラスターのノードグループ拡張速度が大幅に向上。大規模ノードの一括拡張速度が 80% 向上しました。

・並列処理のサポート

タスクノード（タスクノードタイプ）と複数ノードグループの並列スケーリングをサポート。さまざまなユースケースに対応し、ビジネス効率を倍増させます。

より完全な機能

・高いスケーラビリティ

時間ベースのスケーリングと負荷ベースのスケーリングを同時に設定可能。低負荷ノードの優先オフラインをサポート。設定ルールは弾力スケーリングの実行有無に依存せず、柔軟に変更できます（次回トリガー時のみ反映）。

・実際の利用シーンに即した実行ロジック

多角的にユーザーの実際の利用シーンを調査し、機能実行ロジックの設計を実際のビジネスに近づけています。例：

1) 弾力スケーリング戦略は複数インスタンスの選択と順次ポップアップをサポート（在庫不足時）。弾力スケーリングはグレースフルオフライン設定と、負荷ベースのターゲットノード選択をデフォルトでサポート（スケーリングがクラスタタスクに与える影響を低減）

2) 同一ノードグループの複数弾力ルールが同時にトリガーされた場合、ユーザーのルールに従い順番に有効化（複数のユースケースに柔軟に対応）

・運用体験の最適化

より豊富な設定プロンプトと操作ガイダンス、設定項目の新しい事前検証ロジックにより、ユーザーの学習コストと操作失敗の確率を低減します。

コスト削減

・優れた柔軟性とスケーラビリティ、より幅広い機能カバレッジ

弾力スケーリングがより迅速に有効化され、より多くの機能をサポート。ユーザーがハードウェアリソースを迅速かつ適切に管理し、ビジネスニーズに応じてポリシーを設定、クラスターサイズを自動変更し、ハードウェアリソースの無駄を削減できます。

・プリエンプティブインスタンスの柔軟な設定によるさらなるコスト削減

ノードグループ追加時に、完全なプリエンプティブインスタンス設定戦略とフォールバック戦略を提供。ユーザーはビジネス要件に応じて柔軟に設定できます。プリエンプティブインスタンスの設定により、コストをさらに削減できます。

DataWorks フルリンク開発・ガバナンス機能の概要

DataWorks は EMR-Datalake、EMR-ClickHouse、CDP などのビッグデータエンジンを基盤に、データレイク、データウェアハウス、レイクハウス統合などのソリューションに向けた統合フルリンクビッグデータ開発・ガバナンスプラットフォームを提供します。Alibaba のデータセンター構築者として、2009 年以来の Alibaba のビッグデータ構築方法論を継承し、インテリジェントデータモデリング、グローバルデータ統合、効率的データ開発、アクティブデータガバナンス（データ品質、データマップなど）、包括的データセキュリティ、迅速な分析サービスの 6 つのフルリンクデータガバナンス機能を通じて、政府、金融、小売、インターネット、エネルギー、製造業など数多くのお客様と連携し、各業界のデジタルアップグレードを支援しています。

インテリジェントデータモデリング

DataWorks のインテリジェントデータモデリングは、Alibaba のデータセンターモデリング方法論を体現しています。ディメンションモデリングを基盤とし、データウェアハウス計画、データ標準、ディメンションモデリング、データ指標の 4 つの観点からビジネスデータを解釈することで、データウェアハウス構築の標準化と持続可能な発展を推進します。Datalake 向けのインテリジェントデータモデリング機能は 2022 年 8 月に正式リリース予定です。

グローバルデータ統合

DataWorks データ統合は DataX の商用チームが提供し、データレイクシナリオにおいて HDFS、Hive、HBase、OSS、Kafka などのデータソースや MySQL、SQL Server などのデータベースを含む 50 以上のデータソース間のオフライン同期をサポートします。同時に、IDC からクラウド、クラウドベンダー間、クラウドプロダクト間、クラウドアカウント間など、多様な同期シナリオのネットワーク接続ソリューションを提供。複雑なネットワーク環境と豊富な異種データソース間でも、高速かつ安定したデータモビリティを維持できます。

効率的なデータ開発

DataWorks データ開発（DataStudio）と運用保守センターは、EMR-Datalake、EMR-CK、CDH などのエンジンに対応し、視覚的開発のメインインターフェイスを提供。インテリジェントなコード開発、マルチエンジンハイブリッドワークフロー、標準化されたタスクリリースなどの強力な機能により、ユーザーはデータレイク、オフラインデータウェアハウス、リアルタイムデータウェアハウス、アドホック分析システムを効率的に構築でき、データ生産の効率性と安定性を確保できます。

データ開発 - コア開発スケジューリング機能

・ EMR Hive、EMR MR、EMR Spark SQL、EMR Spark、EMR Shell、EMR Presto、EMR Impala、EMR Spark Streaming をサポート

・オープンソースを遥かに超える大規模スケジューリング能力と安定性（独身の日で 1 日あたり 1,000 万レベルのタスクインスタンス）

・分/時/日/週/月の複数スケジューリングサイクル

・ビジネスプロセスのグローバルパラメータ/ノードコンテキスト受け渡し

データ開発 - 複数の視覚的データオブジェクト管理・制御ノード

・視覚的なリソースファイルのアップロード（HDFS/OSS）

・視覚的な UDF (Java) 管理

・視覚的なテーブル構築（HDFS/OSS をサポート）

・マージ、代入、シーケンス、ループ、ブランチなどの制御ノード

・複数スケジューリングサイクルの混合スケジューリング

・視覚的なビジネスプロセスオーケストレーション

データ開発 - インテリジェント SQL エディタ

・構文ハイライト

・キーワードの自動補完

・テーブル/フィールド情報のプロンプト

・関数情報のプロンプト

タスク運用保守 - 運用診断

運用診断は、タスクエラーの原因を迅速に特定するのに役立ちます。例：

・上流依存関係の未完了

・スケジューリングリソース不足

・データ品質ルールによるブロック

・ベースライン中断

同時に、データ補填機能を備え、運用保守状況に素早く対応できます。アラートについては、運用保守センターが複数のアラートモードをサポートしています。

・ Webhook（DingTalk、WeChat、Feishu）、電話、SMS、メールなどのマルチチャネルアラートをサポート

・当直表に基づくアラート担当者の設定をサポート

タスク運用保守 - インテリジェントベースライン

インテリジェントベースラインは DataWorks が独自に開発したモニタリング技術で、国家特許を取得しています。各タスクのアラート時間を個別に設定する必要がなく、最終出力ノードのアラート時間のみを設定すればよい仕組みです。インテリジェントベースラインは過去のタスク実行履歴に基づき、コアタスクが期限内に完了しない可能性がある場合に早期警告を発し、コアタスクの生産安定性を確保します。

アクティブデータガバナンス

DataWorks のデータガバナンスは、データガバナンスセンター、データ品質、データマップなどの製品を含み、イベント前後のデータライフサイクル全体をカバーします。データガバナンス健全性分類、品質ルール、データ系列関係などの機能を通じて、文書化されたデータガバナンス仕様をプラットフォームベースの製品機能として実装。データガバナンスを「フェーズ制のプロジェクト」ではなく「持続的な運用プロジェクト」へと進化させます。

データ品質

EMR HIVE ノードは DataWorks のデータ品質ルールをサポートし、37 の組み込みデータ品質ルールテンプレートを備えています。視覚化とバッチデータ品質ルール設定により、データ品質ルール設定の効率を向上。同時に、データ開発スケジューリングと深く統合されており、スケジューリングを通じてルールを実行し、コンピューティングリソースを節約し、タイムリーに問題を発見できます。

・ 37 の組み込みデータ品質テンプレートルールをサポート

・ルールとルールテンプレートのバッチ設定をサポート

・スケジューリングエンジンとの連携と品質アラート時のビジネスプロセスブロックをサポート

・動的しきい値をサポート（最先端技術、アルゴリズムがアラートしきい値を自動判定）

・ SQL カスタムルールをサポート

・ SMS、メール、DingTalk アラートをサポート

・カスタムデータ品質レポートをサポート

・品質問題処理記録をサポート

同時に、データ品質は強弱ルール設定による柔軟な運用保守コントロールをサポートします。

・強ルール：下流タスクの実行を直接ブロックし、問題データの下流への波及と、下流タスク実行によるコンピューティングリソースの無駄を防止

・弱ルール：警告のみでタスク実行はブロックしない（非コアタスク向け）

データマップ

データマップは EMR-Datalake メタデータシステムに対応し、テーブル名とフィールド名を迅速に検索でき、テーブルとフィールドの系列関係に基づいて上下游の関係を閲覧することで、効率的なテーブル発見を可能にします。含まれる機能：

・テーブル基本情報、業務記述情報、出力情報などをサポート

・パーティションとフィールドの詳細情報と変更記録をサポート

・テーブルの出力情報分析（テーブルへのデータ書き込みやパーティション作成を行うスケジューリングタスクを含む）をサポート

・テーブルとフィールドの系列関係情報分析（リアルタイム分析）をサポート

・テーブルの階層的分類とコレクションをサポート

・グローバル検索、分類別ナビゲーション検索、分類別フィルタリングをサポート

テーブル基本情報：

テーブル系列関係情報：

包括的データセキュリティ

データセキュリティにおいて、DataWorks は Datalake エンジンのデータライフサイクルのセキュリティ管理をサポートします。以下の 5 つの側面をカバーします：

データ転送セキュリティ

・データソースアクセス制御

データストレージセキュリティ

・ストレージ暗号化

・データバックアップ

データ処理セキュリティ

Ranger による詳細なデータ認可制御

開発プロセスの標準化。開発環境と本番環境の独立したアイデンティティ管理の実装

データ交換セキュリティ

データマスキング

汎用データセキュリティ

RBAC 権限モデル

操作行動監査

LDAP 認証管理