Alibaba Cloud CDS-SLS Uncovers Secrets

はじめに

本稿は、まもなく登場するハイブリッドクラウドプロダクト CDS-SLS（Cloud Defined Storage Simple Log Service）に関する連載記事の第 2 回として、CDS-SLS の機能ポイントの概要を主に紹介します。デジタル化の担い手であるログには、バックエンドプログラムの運用情報、ビジネス運用およびその他の情報が含まれています。

ログのクエリと分析は、初期のマシンでの手動による pssh+grep から、各ビジネス固有の小規模 ELK または EFK（Elasticsearch、Logstash/Filebeat/Fluentd、Kibana）へと進化してきました。さらに、Kafka の追加に加え、メトリック収集の必要性があれば Collected を追加し、可視化の必要性があれば Grafana を追加し、ストレージとバックアップの必要性があれば Ceph も導入されます。基本設定の一貫性管理のために Salt が導入され、高い同時実行性シナリオではコンポーネントが 1 つ追加されるごとにハードウェアコストと運用保守コストが急速に増大します。

クラウドベースのログプラットフォームとして、CDS-SLS はこれらのコンポーネントを高い凝集性と低い結合度で提供します。オフラインユーザーは、最小 6 台のマシンに上記の全機能を自動デプロイできます。運用保守、運用、財務管理、データ分析レポートおよびその他のビッグデータシナリオにおける従来のソフトウェアの課題を、ローコードアプローチで効果的に解決します。

用語と背景

CDS

CDS（Cloud Defined Storage）はクラウドディファインドストレージです。ソフトウェアディファインドストレージ（SDS）の出力形態として、CDS はパブリッククラウドと統一されたストレージアーキテクチャとユーザー体験を提供し、ペデスタル数を削減し、柔軟なデプロイ規模と形態を提供し、複数のストレージ製品を統合し、エンタープライズストレージの運用保守管理を提供します。

CDS は、CDS-OSS+CDS-SLS、CDS-EBS+CDS-SLS などのストレージ製品の組み合わせに対応しています。製品としては、アジャイル版（SLS の最小規模は 6 台で、4 台に縮小したさらに簡潔なバージョンのリリースも予定されています）とエンタープライズ版（6 台から数百台規模の SLS）の 2 つの提供形態があります。一方では、CDS は専用クラウドのエンタープライズ版とアジャイル版の両方における製品競争力と製品成熟度を向上させます。他方では、エンド、エッジ、顧客データセンターなどの環境において、あらゆる種類のデータへのアクセス、バックアップ、分析を実現します。

SLS

SLS（Simple Log Service）は Alibaba Cloud ログサービスです。SLS は Alibaba Cloud 初期の Apsara Base にある Shennong モニタリングサービスに由来し、現在では収集、クエリ分析、可視化を統合したクラウドネイティブな可観測性のための統合 *Ops（DevOps、SecOps、FinOps）ソリューションへと発展しています。

SLS の主要機能の概要

SLS のログデータはアペンドオンリーで、書き込みが多く読み取りが少ないという特徴があります。時系列特性はありますが厳密な順序性は求められません。クエリ頻度とデータのホットネスは時間の経過とともに急速に低下します。CDS-SLS バージョンは Alibaba Cloud 上の SLS から継承されています。現在、SLS は独身の日およびダブル 12 プロモーションを長年にわたり連続してサポートしてきたほか、春節のお年玉キャンペーンや周年記念プロモーションなどの多数の大型イベントを支え、安定性、機能性、パフォーマンスの面で十分に検証されてきました。

本稿では、運用保守の視点から SLS の機能ポイントに焦点を当てます。SLS の主要な処理リンクには、データ取得、クエリと分析、可視化、およびインテリジェントアプリケーションが含まれます。コンピューティングとストレージの両方を重視するプロダクトとして、オフラインユーザーのハードウェアコストをさらに削減するため、一部の非汎用機能を削減し、ハードウェア自体のコンピューティングリソースとストレージリソースを最大化する設計になっています。

上記の図は、パブリッククラウドユーザーの視点から SLS の機能を示しています。CDS-SLS オフラインユーザーの場合、飛天プラットフォーム上で SLS サービスの各サブモジュールと各プロセスの CPU およびメモリ使用状況を確認できます。サービスの観点からは、データとスケジューリングの 2 つのカテゴリに分類でき、前者は 34 個のサービスロールに、後者は 10 個のサービスロールに分割されています。分割により、サービスのアップグレードと拡張が容易になります。

SLS 内部サービスの分割

SLS サービスマスターは主にスケジューリング関連のサービスを担います。各サービスロールは高可用性を確保するため複数のインスタンスを持ち、主要なサービス機能は SLS バックエンドサーバーに集約されています。一般的な階層構造は以下の通りです。

現在、CDS-SLS のデフォルトの基盤分散ストレージは Pangu 2.0 システムです。Alibaba Cloud のストレージ基盤として、Pangu 2.0 は高性能と安定性を特徴としています。SLS の内部ビジネスモジュールもマイクロサービスとして適切に分割されており、ボトムレイヤーは C++ を使用した独自開発により極限のパフォーマンスを実現しています。

SLS の各モジュールには多数の調整可能なバックエンドパラメータがありますが、通常はデフォルト値がほとんどの顧客のニーズを満たします。多くの設計は、「メカニズムとポリシーの分離」および「1 つのことを確実に実行する」という古典的な UNIX の設計思想に従っています。

・ユーザーが重視するフロー制御については、バックエンドが多次元の精密な制御を提供しており、デフォルトパラメータでほとんどのシナリオをカバーできます。

・データ収集エージェント（Logtail）は何年にもわたって数百万台規模のマシンで大規模に検証されており、その性能と安定性は十分に保証されています。オープンソースソフトウェアと比較して、マシンリソースの使用量を最大 90% 削減できます。

・「クエリ | 分析」のパイプライン処理は単一責任の原則を適切に実装しており、クエリと分析はそれぞれ異なるバックエンドサービスに対応しています。

ハイブリッドクラウドシナリオの専用設計

クラスタ形態

現在、飛天には SLS 関連のクラスタが 2 つあります。

・基盤内の SLS 共通クラスタは、基盤の Pangu を共有し、Alibaba Cloud 飛天基盤内のサービスの自運用保守のために最も基本的なクエリと分析機能を提供します。基盤リソースの保存期間は 7 日に制限されています。ハイブリッドクラウドのネットワーク分離により通信できないシナリオにおいても、運用保守効率が大幅に向上します。開発者はフィールド担当者にいくつかのキーワードでクエリしてもらうことで、問題を素早く特定できます。

・ユーザーが別途購入する CDS-SLS クラスタは、専用の Pangu セットを占有します。クラスタ内では SLS 関連のプロセスのみが実行されるため、シャーシ上の共有リソース不足を効果的に緩和します。そのため、ログの TTL を永久に保存可能であり、より優れたコンソール体験が得られます。

本稿で取り上げる機能のほとんどは、ユーザーが別途購入する CDS-SLS クラスタを対象としています。

ローカライズされた信頼性イノベーションへの対応

現在、CDS-SLS は Haiguang、Kunpeng、Feiteng などの CPU アーキテクチャをサポートする予定であり、Intel X86 と同等の厳格な受け入れテストを実施します。今後、オフライン出力シナリオに向けて、さらに多くの異種 CPU や混合シナリオのテストを行う予定です。

HTTPS アクセスは国家安全 TLS チャネル伝送をサポートする予定であり、金融や政府機関などの業界におけるデータアクセスをより高いコンプライアンスで利用できるようにします。

オープンソース ELK ソリューションの比較と移行

ELK の背景

Elastic は主に Lucene をベースに実装されています。2012 年、Elastic は Lucene 基本ライブラリパッケージを改良したソフトウェアとして登場しました。2015 年には ELK スタック（Elasticsearch Logstash Kibana）をリリースし、集中型ログ収集、保存、クエリの課題を解決しました。ただし、Lucene の設計シナリオは情報検索であり、ドキュメント型データが対象です。そのため、可観測性分析データ（Log/Trace/Metric）には、スケーラビリティ、クエリ能力、および LogReduce などの一部のカスタム機能において一定の制約があります。

ログ収集エンドポイントの機能比較

現在、主流のオープンソースコミュニティのログ収集エンドポイントは Logstash と Fluentd です。初期バージョンでは機能とパフォーマンスの比較が行われていました。データについてはテスト結果を参照してください。