:Newrank のケーススタディ

顧客 プロファイル

データドリブンな主要コンテンツテクノロジー企業として、Newrank は、すべてのプラットフォームおよびすべてのレベルの新しいメディアリソースを網羅し、コンテンツマーケティング、ライブ e コマース、トレーニング運用、著作権配信などのサービスを提供して、コンテンツで新しいメディア業界にサービスを提供しています。 WeChat、TikTok、Xiaohongshu、Kuaishou などのプラットフォームを活用して、Newrank は堅牢なデータツールを提供し、クロスプラットフォームの新しいメディアデータによって強化された人気のある素材、ブランド ボリューム、ライブ e コマース、およびエンタープライズレベルのデータサービスのリアルタイム モニタリングおよび分析機能を提供します。

要件と課題

Newrank はもともと、Elasticsearch（ポイントクエリと多次元取得用）、オンライン分析データベース（分析用）、およびオフライン処理データベースを使用して、作品やクリエイターなどの多次元データを保存し、多次元関連付けと集計クエリを処理し、大量のリアルタイム コンテンツと毎日の更新を処理していました。

ビジネスは、次のパフォーマンス ボトルネックとコストの問題に直面していました。

• Elasticsearch の書き込みパフォーマンスの低下：業務システムは毎日 4,000 万を超える新しい作品と 2 億を超えるデータ更新を処理するため、書き込みパフォーマンスのボトルネックが発生します。 転置インデックスを構築する際のレイテンシは、ピーク時には最大 5 秒に達します。

• 分析データベースの更新機能の制限：高頻度の更新は、重大なレイテンシの問題を引き起こします。 大規模なマルチテーブル集約操作は、事前に計算された一時テーブルに依存しています。

• データ冗長性を引き起こす複雑なアーキテクチャ：同じデータが複数のシステムに重複して保存されるため、ストレージ コストが高くなり、リソース使用率が低下します。

• マルチコンポーネントの運用保守と開発の高い複雑さ：複数のコンポーネントを保守し、データリンクを構築する必要があります。 新しいビジネス要件は複数のインターフェイスに適応する必要があり、開発サイクルとコストが増加します。

中国の大手ニューメディア コンテンツ プラットフォームとして、Newrank には次の主要な要件があります。

• 大規模な更新とバッチ分析：毎秒数万件のデータ更新、毎秒数千万件のデータレコード、および低レイテンシのリアルタイム分析をサポートします。

• 包括的で柔軟なクエリ機能：

  • 多次元フィルタリング。 たとえば、フォロワーが 10,000 人を超え、上海に居住し、母親と赤ちゃんのカテゴリにタグ付けされているインフルエンサーを見つけます。

  • 重複排除集約。 たとえば、人気ランキングのために生成された数値統計を収集します。

  • 結合分析。 たとえば、ユーザーテーブルと作業詳細テーブルで結合分析を実行します。

  • その他のクエリ要件。

• コストの最適化：ストレージと計算リソースの消費を削減し、データ同期とメンテナンスのコストを削減します。

ソリューション

Lindorm は、マルチモデル統合プラットフォームとして、ワイドテーブル エンジン、検索エンジン、カラムナー エンジン、およびコンピューティング エンジンを提供します。 次の図は、Lindorm ソリューションと、Elasticsearch、オンライン分析データベース、およびオフライン処理データベースを統合した顧客の元のソリューションを比較したものです。

Lindorm ソリューションは、シームレスなクロスエンジン連携を実現し、クエリのための統一インターフェイスを提供します。 コマンドは自動的に解析され、対応するエンジンにルーティングされ、結果は直接返されます。

メリット

• シームレスな移行と柔軟な開発

  Lindorm は、Elasticsearch オープンソース プロトコルと MySQL プロトコルと互換性のあるインターフェイスを提供し、ビジネスとの柔軟な統合を可能にし、開発コストを削減します。

  • Newrank の新しいビジネス：統一された Lindorm SQL インターフェイスを介してマルチエンジン連携を実装し、データの書き込みとクエリを効率的に行い、開発とメンテナンスの複雑さを大幅に削減します。

  • Newrank の既存のビジネス：Elasticsearch API メソッドを保持し、Lindorm へのシームレスなデータ移行を実現します。

• 冗長性なし、低コスト

  Newrank の元のソリューションでは、データを Elasticsearch、オンライン分析データベース、およびオフライン処理データベースに個別に保存する必要があり、200% のデータ冗長性が発生していました。 Lindorm は、ホットデータとコールドデータの階層型ストレージと統合アーキテクチャを提供し、生データを 1 回だけ保存できるようにすることで、ストレージ コストを大幅に削減しながら、マルチエンジン インデックス構築とクロスエンジン クエリを統合します。

  Lindorm は、ストレージ ニーズに基づいてさまざまなソリューションを提供します。

  • 完全データ：LindormTable に均一に保存され、ホットとコールドの境界に基づいてデータがさまざまなストレージ メディアに自動的にアーカイブされ、ストレージ コストが削減されます。 システムは、ビジネスに影響を与えることなく、ホットデータとコールドデータを自動的にクエリします。

  • 多次元検索と軽量集約を必要とするデータ列：検索インデックスを作成することにより、検索エンジンに保存されます。

  • 分析と大規模集約を必要とするデータ列：カラムナー インデックスを作成することにより、カラムナー エンジンに保存されます。

• 超高性能と低コスト

  LindormTable は、数百万の同時書き込みとポイントクエリをサポートし、検索データベースの負荷を効果的に軽減しながら、ディープ圧縮アルゴリズムによってストレージ コストを最適化します。

  元の Elasticsearch ソリューションと比較して、LindormTable は、高頻度の更新とバッチ データ処理シナリオにより適しています。 高並列書き込みとポイントクエリ パフォーマンスを桁違いに向上させ、毎秒数千万の同時書き込み、更新、およびクエリをサポートします。 水平方向にスケーラブルな分散アーキテクチャは、毎日の大量データ更新要件を満たし、コンテンツ ID やユーザー ID などのプライマリキーに基づく高並列ポイントクエリを可能にします。 さらに、最適化された ZSTD 圧縮アルゴリズムにより、Lindorm はストレージ容量を従来のデータベースの 50% に削減し、ストレージ コストを効果的に削減します。

  オープンソース データセット	生データ	Lindorm	HBase	MySQL	MongoDB	MongoDB (ZSTD)
  注文データ (TPC-H)	1.76 GB	639 MB	1.23 GB	2.10 GB	1.63 GB	1.32 GB
  IoV データ (NGSIM2)	1.54 GB	818 MB	1.72 GB	1.72 GB	1.88 GB	1.50 GB
  ログデータ (Web ログ3)	3.51 GB	387 MB	737 MB	737 MB	1.17 GB	893 MB
  行動データ (IJCAI-20154)	1.91 GB	721 MB	1.48 GB	1.48 GB	3.33 GB	2.74 GB

  前の図は、Lindorm がオープンソース データセットを処理する場合、代替データベースと比較して圧縮率が 100% 向上することを示しています。

• マルチモデル融合

  Lindorm は、エンジン間のデータの整合性と同期を確保するネイティブのマルチモデル融合機能を提供します。 システムは、インデックスを通じてクロスエンジン データ同期リンクを自動的に構築します。 これにより、Newrank は Elasticsearch、オンライン分析データベース、およびオフライン処理データベース間のリンクを手動で構築する必要がなくなり、毎日の運用保守コストを節約し、統合データ管理を実現できます。 オンデマンド インデックス作成後、システムはデータをワイドテーブルとして表示します。 一部の列はポイントクエリ機能を提供し、一部は多次元検索とフルテキスト検索をサポートし、一部はリアルタイム分析とバッチ処理を可能にします。 ユーザーは、統一された SQL インターフェイスを介してクエリを実行し、完全な結果セットを取得できます。