Self cultivation of a real-time accurate touch system

問題定義

インターネット業界において、不変なのは変化のみです。技術者として、私たちは以下のようなニーズに頻繁に直面します。

お気に入り商品の値下げ時にユーザーへタイムリーに通知し、取引の成立を促進すること。新規ユーザーまたは 90 日以内に取引を行っていないユーザーに対して、複数の商品を閲覧した後にセラーとのチャットを積極的に促したり、レッドポケットを付与して初回注文を促進したりすること。

これらのニーズの本質は、ユーザー行動のリアルタイムな収集・分析と、ルール計算による条件を満たしたユーザーへの正確なリーチというロジックです。一般的な開発モードではこのようなニーズに対応することが難しいため、omega システムを特別に開発しました。omega システムは以下の 3 つのサブシステムで構成されています。

*行動収集センター

*CEP ルールセンター

*ユーザーリーチセンター

前述の 2 つについては前回の記事で詳しく説明しました。今回は、ユーザーリーチシステムの設計と実装、特に柔軟な構成と正確なターゲティングの仕組みについて詳しく説明します。

システム設計

2.1 論理アーキテクチャ

読者の理解を促進するため、omega システムの論理アーキテクチャの概要を説明します。omega システムは、高い再利用性と低い結合度という原則に基づいて分割されています。各コンポーネントは独立した完全なシステムであり、組み合わせてサービスを提供することもできます。

*第 1 レイヤーはユーザー行動収集センターで、収集エンドからの MTOP（アプリケーションゲートウェイ）リクエストとクライアント側のイベントトラッキングを通じて生データを収集し、クリーンニングして構造化されたユーザー行動データに変換します。

*第 2 レイヤーは CEP ルールコンピューティングセンターで、DSL を解析して Blink（Flink）ストリームコンピューティングタスクを生成し、ルールに合致するユーザーを出力します。

*第 3 レイヤーはユーザーリーチセンターで、リーチ戦略とチャネルを定義し、戦略をユーザーにリアルタイムで配信します。

これら 3 つのレイヤーは相互に連携し、個別にサービスを提供することも、外部ビジネスを共同で処理することもできます。現在は、ユーザーグロース、ゲームプレイ、セキュリティ関連の事業をサポートしています。

ユーザーグロースを例にとると、ユーザーがプロダクトを体験する際、適切な戦略の組み合わせを通じて取引行動の完了を促し、プロダクトの「aha」モーメントに到達させます。これらの戦略には、エンド内での権益開示、POP、リアルタイムプッシュ、およびエンド外でのプッシュ通知、SMS、アウトバウンドコールが含まれます。omega システムは、エンド内外のアクティブ・パッシブなアクセスチャネルを統合し、ユーザーのリアルタイム状態を中心に、長期的な運用に対応する戦略配置の技術スキームを実現しています。

2.2 リーチプロセス

リーチプロセス自体は比較的明確です。プロセスを複数の小さなノードに分割し、各ノードを構成可能な方法で組み合わせることで、各ノードがプラグイン可能かつ置換可能であることを保証します。ユーザーリーチシステムの全体的な処理フローは以下の通りです。

*CEP ルールの計算結果を受け取ります。ここにはルール名とルールに合致するユーザーが含まれます。

*アクションルーティングレイヤーが、ルール名に基づいてこのルールにサブスクライブされたすべてのアクションの一覧を問い合わせます。

*アクションフィルターレイヤーが、ブラックリスト・ホワイトリスト、グレースケール、ターゲティング、頻度制限などの戦略に従って、有効なアクションの一覧をフィルタリングします。

*アクション配信レイヤーが、ポリシー構成に基づいて実行します。プッシュ通知や SMS などのユニバーサルリーチもあれば、セキュリティシステムへのペナルティ呼び出しなど他のビジネスシステムの呼び出しもあります。アクションをクライアントサイドに配信して実行することもできます。

*アクション実行後、統一イベントトラッキングプロトコルに従って関連情報を記録し、後続のデータ集計に備えます。

ユーザーリーチは omega システムの最終環節であり、十分な汎用リーチ機能をカプセル化し、リーチのリアルタイム性と有効性を保証する必要があります。そうでなければ、ユーザー体験を損なうことになります。次に、詳細設計を通じて、ユーザーリーチシステムがどのように戦略の組み立て、プラグイン可能性、柔軟な構成、リアルタイムリーチなどの機能を実現するかを確認します。

2.3 詳細設計

注：Metaq は Alibaba 内部で使用される MQ フレームワークです。HSF は RPC フレームワークです。

ユーザーリーチセンターは、独立したサービス提供、柔軟なプラグイン構成のサポート、正確なリーチ戦略を目標としており、外部依存の低減、MQ を通じた外部システムとの直接的な依存・結合度の低減、各サブモジュールの機能境界の定義、および構成ベースのサブモジュール連携に注力しています。

ユーザーリーチセンターの主な機能は、リーチ戦略の維持と標準化されたリーチ能力のパッケージングであり、以下の部分で構成されています。

*入力データソース：ユーザーリーチセンターは上位ルールセンターの計算結果を受け取ることも、外部ビジネスシステムからトリガーされることもできます。

*リーチ素材（文案および画像を含む）は、クラウド配信システム（闲魚素材管理システム）で一元管理されます。将来的にオフラインデータを取り込み、ユーザープロファイルや商品データなど、より詳細な基本情報を補完する予定です。

*アクションルーティングレイヤーは、アクションとルールの間のサブスクリプション関係を管理します。ここにはサブスクリプション有効期間、優先度などの要素が含まれます。

*アクションフィルターレイヤーは責任連鎖パターンで設計されており、各フィルターは相互に独立し、動的なプラグインと柔軟な構成が可能です。

*アクション実装レイヤーは、クラウドおよびクライアント向けの各種汎用リーチ能力の実装をカプセル化しています。将来的に FaaS モードにより、柔軟かつ迅速なアクション起動能力を提供できます。クライアント側でのアクションのリアルタイム実行を保証するため、クライアントとの専用チャネルを特別に維持しています。 ターゲットを绞った最適化により、チャネルのデータ転送速度と配信率を向上させ、エンドツーエンドのリーチを重点的に保証しています。

*アクション実行後、統一イベントトラッキングプロトコルに従って記録されます。将来的にイベントトラッキングのレポート作成とデータ開発プロセスを整理し、データ開発コストを削減し、ビジネス側がアクション実験の効果とアトリビューションを簡単に確認できるようにします。

オンライン効果

ユーザーリーチセンターの導入後、構成を通じて複数のビジネスに対応してきました。闲魚、金鱗、独身の日ゲーム、ユーザーグロース、賃貸、リースなど、多くのビジネスシナリオをサポートしています。柔軟な運用構成戦略とリアルタイムかつ正確な権益配信により、以下のデータ結果を得ました。

1. ターゲットユーザーへのリーチ精度が大幅に向上しました。

2. 金鱗ゲームプレイの遅延は 1 秒以内に収まっています。

3. 魚を与えるのではなく魚の釣り方を教えることで、運用ツールを提供し、開発リソースを完全に解放しました。

4. 独身の日プロジェクトはリアルタイム性と QPS に対する要件が高く、omega システム、特にユーザーリーチセンターのパフォーマンスとリアルタイムリーチ能力を十分に検証しました。最終的に、商品値下げ閲覧シナリオでのプッシュ通知クリック率はオフラインと比べて大幅に向上しました。

まとめと展望

omega システムは、リアルタイム要件が高く、運用指向で、高速な実験が求められるシナリオに対する、高度に抽象化されたソリューションです。この理念に基づき、ユーザーリーチセンターは多様な汎用リーチ機能をカプセル化し、柔軟なプラグイン対応のフィルター構成をサポートし、標準化されたイベントトラッキングプロトコルを設計することで、迅速なビジネス実験とデータアトリビューション分析を実現しています。今後は、オフラインプロファイルデータの標準取り込みとデータリターン分析の標準化をサポートし、ビジネスのアップストリーム・ダウンストリームデータを連携させ、機能面でのプロセス・クローズドループを実現していく予定です。読者の皆様からの意見交換や議論も歓迎します。