Construction and application of Flink+Hologres real-time data warehouse in Lazada

Ali は、国内で成功したビジネスモデルを東南アジア市場に適用しようと模索しています。上図は東南アジア主要 6 カ国のビジネス調査データを示しています。Lazada の統合 E コマースプラットホームは、マーケットプレース、LazMall、クロスボーダーなど複数のビジネスモデルを含んでいます。東南アジアの E コマースインフラは、自社構築の物流ネットワークと LazPay の開始により、継続的にアップグレードされています。

ビッグデータは中国で約 20 年にわたり磨き上げられ、非常に成熟した技術となっています。Lazada のデータシステムは Taobao のデータシステムと非常によく似ており、主に 6 つの部分で構成されています。

左側がデータソース、右側がデータアプリケーション、中央部分がデータ統合、データモデリングと計算、データ集約とマーケット、データサービスです。データ統合は主に CDP と DataHub のシステムに依存しています。データモデリングはオフライン部分とリアルタイム部分に分かれています。オフラインモジュールは MaxCompute をベースにし、リアルタイムモジュールは Flink プラットホームをベースにしてリアルタイムデータウェアハウスを実現しています。2020 年以降、マーケット層は段階的に Hologres を採用し、これまで複雑だったデータ結果層とデータ計算層のミドルウェアを置き換えています。

プロモーションは E コマースにおいて一般的かつ非常に重要なシナリオです。リアルタイムデータとリアルタイム技術により、ビジネス全体の形態を有効化または変革できると期待しています。

プロモーションのマーケティングは、プロモーション前、プロモーション中、プロモーション後の 3 つの段階に分けられます。プロモーション前には、出店募集、プロダクト選定、キャンペーンページ構築などさまざまな準備作業があり、これらはオフラインまたは長期的なアクションです。プロモーション中には、追加購入に備えた予熱蓄積、トラフィック分散、動的制御が必要です。この段階ではリアルタイム意思決定とリアルタイム制御が中心となり、リアルタイムデータによるサポートが求められます。プロモーション後には、ビジネスレビュー、データ分析、データ広報が必要です。

ビジネス側のリアルタイム意思決定とリアルタイム制御をサポートするため、従来のオフラインデータアーキテクチャを改修する必要がありました。そこで、Flink と Hologres を活用してすべてのデータリンクをリアルタイムかつ体系的にアップグレードし、Hologres の OLAP クエリ機能を活用してプロモーション当日のビジネスリアルタイム分析をサポートしています。たとえば、非常に短時間での高速クエリと分析を実行し、クーポン配布のターゲットユーザー層を選定します。

クーポン配布のプロモーションでは戦略とリズムが重要です。たとえば、ターゲットユーザーを絞り込む必要性、配布後にユーザーがクーポンを受け取ったかどうか、受け取った後に使用したかどうかといった問題が、プロモーションリズムの制御に影響します。リアルタイムデータに基づき、ビジネス担当者はより多くのデータ資産、ユーザーの購買力や消費習慣を組み合わせてターゲットユーザーを絞り込み、プロモーション中にリアルタイムなフィードバックを得る必要があります。

具体的な実装は次のとおりです。ユーザーのリアルタイム収集データと使用データを DataHub メッセージミドルウェアから消費します。同時に、プロモーションサイクルが長いため、ユーザーの履歴状態データも計算する必要があります。そのため、オフライン ODPS テーブルを Flink タスクでのリアルタイム・オフラインデータ消費の初期化テーブルとしても使用します。消費後、一方ではデータが DataHub メッセージミドルウェアに書き込まれ、下流のマーケティングシステムにプッシュされて直接消費・利用されます。もう一方では、データが Hologres に保存され、ビジネス担当者にリアルタイム OLAP 分析用のデータ指標とデータラベルを提供します。Hologres に保存されたデータは、ユーザーの購買力、消費習慣、嗜好カテゴリなどの基本データ資産を分析できるだけでなく、プロモーション中のリアルタイムなトランザクション変更や権益変更データとの関連クエリも可能にします。これにより、さまざまなビジネスニーズに対応したターゲットユーザー層を迅速に選定できます。

上記の技術リンクとソリューションにより、プロモーションシナリオでの運用戦略と運用アクションのビジネスプロセスを動的に調整できます。

本ソリューションでは、Flink コンピューティングエンジンを使用してリアルタイムとオフラインのデータソースを同時に消費し、リアルタイムストリームバッチ処理を実現しています。ユーザーの累積履歴権益データをリアルタイム変更権益データと組み合わせてリアルタイム計算することで、ユーザーの全状態権益コレクションとリアルタイムデータを取得できます。

さらに、このアーキテクチャではリアルタイムとオフラインの混合 OLAP 分析も実現しています。オフラインデータは Hologres コンピューティングエンジンに保存され、複雑なオフライン計算が行われます。計算後、データは Hologres に同期され、同時にオンラインのリアルタイム変更状態データも Hologres に書き込まれます。これにより、Hologres は広範なユーザーの完全な状態データと全体データを備え、現在の状態観察だけでなく、過去の行動とパフォーマンスの包括的な分析も可能になります。

このソリューションにより、マーケティング活動システムは従来のオフライン状態から、調整・意思決定・実行が可能なリアルタイムシステムへ正常に移行しました。

Lazada LAB 実験プラットフォームは 1 万件の実験を蓄積し、実験数でトップ 5 にランクインしており、数百のサブサービスしきい値をサポートし、月間数千の実験が行われています。

LAB のアーキテクチャは下から上へ、データモジュール、システムモジュール、アプリケーションモジュールの 3 レベルで構成されています。

データモジュール層で使用されるすべてのデータストレージエンジンは Hologres に切り替えられました。実験内の一般データとビジネス指標は事前に事前計算され、Hologres の計算負荷を軽減できます。さらに、詳細レベルのデータと軽度集計レベルのデータはリアルタイム計算を通じて Hologres に書き込まれ、A/B テストシナリオでのカスタマイズと柔軟かつ迅速な分析機能をサポートしています。最後に、さまざまな実験ディメンションデータを Hologres に同期し、カスタマイズされた分析とクエリに対応しています。

上図は LAB プラットフォーム実験のデータフロー処理プロセスを示しています。

データソースは一般的な Binlog データで、ログ収集、検索、プロモーションログデータなどを含みます。オフラインデータウェアハウスでもデータ処理が行われ、リモート Hologres にデータが書き込まれます。さらに、リアルタイムの詳細層と集計層のデータは Flink リアルタイム計算と演算を通じて Hologres に同期されます。

したがって、Hologres にはリアルタイム DWD 詳細レイヤー、ADS レイヤー、多くのオフライン計算済みデータ、DWS データ、ディメンションデータを含む完全なリアルタイムデータウェアハウスが構築されています。さらに、多数の論理ビューと一部のマテリアライズドビューも構築されています。実験シナリオでは、テーブル使用のクエリ条件やクエリモードが非常に固定されているため、よく使用されるクエリ方法と指標を論理ビューとマテリアライズドビューを通じて固定化し、フロントエンドの実験パフォーマンスを向上させる必要がある場合があります。

上記のアーキテクチャでは、Hologres の強力なクエリ機能とデータの書き込み・エクスポート機能を活用して、LAB プラットホーム全体の実験速度と効率を向上させています。

Hologres の使用とストレージに関しては、分散データの利用においてまずデータが合理的かつ均等に分散されていることを確認する必要があります。さらに、データを行ストアと列ストアのどちらで保存するかは、ビジネスシナリオと使用要件に依存します。パーティションテーブルを選択する際は分散キーが必須です。TableGroup とシャードの割り当て時には、ディメンションテーブル検証や実際のテーブル間の検証を含む検証操作を実行する必要があります。そのため、ディメンションテーブルのデータ量とビジネスシナリオを組み合わせて、継続的な実践と探索が必要です。

計算面では、Hologres はプライマリキー設計置換、近似計算、クラスタリングインデックス、時系列インデックス、最適化されたディクショナリエンコーディングなどのストレージエンジンを提供しています。

Alibaba は MaxCompute を使用して、オフラインデータウェアハウスのインフラ構築をサポートし、実装しています。Flink の導入後、Alibaba のデータシステムは元のオフラインシステムからリアルタイムデジタルウェアハウスシステムへと完全に変革しました。Hologres などのクラウドネイティブ OLAP データエンジンの登場により、データレイクハウス統合の実装と利用の可能性を確認でき、ヘテロジニアスなインテリジェントコンピューティングをサポートできるようになりました。

Hologres のサービスと分析統合機能を AI 処理と組み合わせることで、単一のプラットフォームとコンポーネントでデータ処理を迅速に完了し、技術プラットフォームを通じてビジネス価値を効果的に解放できると期待しています。

ニュートンが「巨人の肩の上に立つことで、より遠くを見ることができる」と述べたように、Alibaba Cloud という巨人と共に、データビジネスの価値をより深く、より徹底的に発揮できると確信しています。