Simple Log Service:SLS を使用した LLM アプリケーションのログインジェスト時の機密データマスキング

ステップ 1: マシングループの構成 (LoongCollector のインストール)

事前準備を完了したら、LoongCollector をサーバーにインストールし、マシングループに追加する必要があります。

次の手順に従います。

1. Logstore ページで、ターゲット Logstore 名の左側にある をクリックして Logstore を展開します。

2. [データ取り込み] の横にある アイコンをクリックします。表示されるダイアログボックスで、[クイックデータ取り込み]、[単一行テキストログ] の順に選択し、[今すぐ取り込む] をクリックします。

3. [マシン グループの設定] ページで、以下のパラメーターを設定します。

   • シナリオ: ホストシナリオ

   • インストール環境: ECS

   • マシングループの構成: ターゲットサーバーの LoongCollector インストールステータスとマシングループ構成に基づいて操作を選択します。

     • LoongCollector がインストール済みで、すでにマシングループに追加されている場合は、[ソース マシングループ] リストで直接確認し、[適用済み マシングループ] リストに追加します。再度作成しないでください。

     • LoongCollector がインストールされていない場合、[マシングループの作成] をクリックできます:

       次の手順では、ワンクリックインストール機能を使用して LoongCollector を自動的にインストールし、マシングループを作成する方法について説明します。

       1. システムは、Project と同じリージョンにある ECS インスタンスを自動的にリストします。ログを収集するインスタンスを 1 つ以上選択します。

       2. [インストールおよびマシングループとして作成] をクリックします。システムは、選択した ECS インスタンスに LoongCollector を自動的にインストールします。

       3. マシングループの [名前] を設定し、[OK] をクリックします。

       説明

       インストールが失敗するか、保留状態のままになる場合は、ECS インスタンスが Project と同じリージョンにあるかどうかを確認してください。

4. ハートビートステータスの確認: [次へ] をクリックすると、[マシングループのハートビートステータス] ページが表示されます。 [ハートビート] ステータスを確認できます。 ステータスが OK の場合、マシングループは正常に接続されています。 [次へ] をクリックして Logtail 構成ページに進みます。

   ステータスが FAIL の場合、ハートビート接続の確立に時間がかかる場合があります。約 2 分待ってからハートビートステータスをリフレッシュしてください。ステータスがまだ FAIL の場合は、「ハートビート例外のトラブルシューティング」をご参照ください。

ステップ 2: ログ収集の構成

LoongCollector のインストールおよびマシングループの構成を完了した後、[Logtail 構成] ページに移動して、ログ収集および処理ルールを設定できます。

ステップ 3: インジェスト側マスキングルールの構成

このトピックの E コマース Copilot ログの場合、プロジェクトでデータプロセッサを作成して、IP アドレスやメールアドレスなどの機密コンテンツをインテリジェントに識別し、マスキングできます。電話番号、ID カード番号、クレジットカード番号、名前、住所情報については、プレフィックスとサフィックスの保持をカスタマイズできます。

SLS が提供するマスク機能は、ビルトインマッチングとキーワードマッチングの 2 つのモードをサポートしています。これらのモードは、ログ内の機密情報を効率的かつ正確に識別し、マスキングします。

• ビルトインマッチング (buildin): マスク機能は、電話番号、ID カード、メールアドレス、IP アドレス、固定電話番号、銀行カード番号の 6 種類の一般的な機密情報を識別するビルトイン機能を備えた即時使用可能機能です。

• キーワードマッチング（キーワード）：このモードでは、一般的なキーと値のペア形式（例： "key":"value"、'key':'value'、key=value）に準拠する任意のテキスト内の機密情報を、インテリジェントに特定します。

1. 左側のナビゲーションウィンドウで、リソース > データプロセッサを選択します。

2. ［インジェストプロセッサー］タブで、［作成］をクリックし、次のパラメーターを設定します。

   • プロセッサ名: プロセッサのカスタム名 (例: masking_processor) を入力します。

   • 処理失敗: 生データを保持。

   • SPL：

     * | extend content = mask (content,' [
     {"mode":"buildin","types":["IP_ADDRESS","EMAIL", "LANDLINE_PHONE"]},
     {"mode":"buildin","types":["PHONE","IDCARD","CREDIT_CARD"],"maskChar":"*","keepPrefix":3,"keepSuffix":4},
     {"mode":"keyword","keys":["address"],"maskChar":"*","keepPrefix":3,"keepSuffix" :1},
     {"mode":"keyword","keys":["name"],"maskChar":"*","keepPrefix":1}]')

3. SPL マスキングスクリプトをデバッグします。検証後、[保存] をクリックします。

ステップ 4: インジェストプロセッサの関連付けとログの表示

1. 左側のナビゲーションウィンドウで、 ログストレージを選択し、ターゲット Logstore 名の横にある をクリックして展開します。

2. をクリックします。[Logstore プロパティ] ページで、[取り込みプロセッサ] をクリックします。

3. [変更] をクリックし、新しく作成されたインジェストプロセッサを選択して、[保存] をクリックします。

4. 右上隅の [クエリと分析] をクリックすると、処理されたログが表示され、マスキングの前後で比較できます：

マスキング前のデータとの比較により、次のことが明らかになります。

• セキュリティと可用性のバランスを取るために、必要に応じてデータを保持: さまざまな機密フィールドのプレフィックスとサフィックスの保持をカスタマイズできます。たとえば、電話番号の最初の 3 桁と最後の 4 桁を保持することで、ユーザーのプライバシーを保護しながら、運用保守エンジニアが問題のトラブルシューティングやユーザー ID の検証を行うのに役立ちます。これにより、セキュリティとデータの可用性のバランスが取れます。

• 正規表現なしの簡素化された構成: キーワードマッチングモードでは、ネストされた多層 JSON 構造であっても、最も内側のキーを構成するだけで値を正確に一致させ、マスキングできます。これにより、さまざまなキーと値のペアの形式に対応するための複雑な正規表現が不要になり、構成が大幅に簡素化されます。中国語文字の正確なマスキング: 名前と住所は、構成されたルールに従って正確にマスキングされ、エンコーディングの問題によって引き起こされるマスキングの失敗を防ぎます。

さらに、マスク機能は、マスキングに正規表現を使用する場合と比較して、パフォーマンス上の大きな利点を提供します。これにより、ログ処理レイテンシーが効果的に削減され、特に複雑なシナリオや大量のデータの場合に、全体的なパフォーマンスが向上します。

運用保守エンジニア: 特定

運用保守チームにとって、トラブルシューティングは多くの場合、ユーザーの電話番号、住所、アカウント番号を含むプレーンテキストログに依存しており、高いコンプライアンスリスクを伴います。マスキングされたログは、ソースからこのプロセスを保護します。トラブルシューティングシナリオでは、`trace_id` を使用してコールチェーン全体を取得できます。

• Copilot のインテント認識から、

• 注文サービス、返金サービス、サードパーティ決済ゲートウェイまで、

• 返された結果と時間消費まで。

ユーザー ID を検証する場合、ログには銀行カード番号や電話番号などのマスキングされた情報のみが保持されます。これは、ビジネス側のユーザー情報との比較には十分であり、元の値を公開することはありません。チーム間のコラボレーションであっても、マスキングされたログで直接問題を特定でき、データ侵害のリスクを回避できます。

運用チーム: 分析

レポートの価値は、個人情報にアクセスすることではなく、全体的な傾向を特定することにあります。マスキングされた運用レポートでは、ユーザー情報は匿名化されます。レポートには、チームがデータからインサイトを得るのに役立つ主要なビジネスメトリックのみが保持されます。

レポートから、運用チームは次のことを迅速に理解できます。

• 全体概要: ユニークビジター (UV)、ページビュー (PV)、Copilot インタラクション数、総問い合わせ数などの主要なメトリックは、運用概要を迅速に把握するのに役立ちます。

• 問い合わせ分類: 返金、プロダクト、物流の問い合わせの割合は、ユーザーの関心事を明確に理解するのに役立ちます。

• 問題分類: 機能、価格、仕様に関する質問など、ユーザーの質問の焦点を理解します。

• 繰り返し問い合わせ率: サービス品質を測定し、最適化が必要な領域を迅速に特定します。

• ユーザー動作: 問い合わせ後の購入コンバージョンファネルと人気のある問い合わせキーワードは、プロダクトとマーケティング戦略の最適化に役立ちます。

• 主要ユーザー: 上位 10 人の問い合わせユーザー。ユーザー情報はマスキングされていますが、VIP レベルと問い合わせ数を使用してサービス戦略を差別化できます。

さらに、レポート内のすべてのユーザー情報はマスキングされます。電話番号や名前などの個人情報はマスキングされ、特定のユーザーに遡って追跡できないようにすることで、ユーザーのプライバシーを完全に保護します。

セキュリティおよびコンプライアンスチーム: 監査

セキュリティおよびコンプライアンスチームにとって、ログに関連する最大のリスクは、プレーンテキストデータの存在です。このトピックで説明するマスキングソリューションは、データインジェスト前にマスキングを実行します。これにより、不完全な機密データマスキングとプレーンテキストデータのエクスポートの可能性が根本的に排除されます。さらに、SLS は包括的なコンプライアンスサポート機能を提供します。

• データストレージ: ログ保存期間をカスタマイズできます。ネットワーク監査関連ログの保存期間を 180 日以上に設定して、セキュリティ監査要件を満たすことができます。

• データ操作監査：ログの使用時にユーザーレベルの操作が発生します。これらの操作がコントロールプレーンでのコンソール操作、OpenAPI 呼び出し、またはデータプレーンでのビジネス ログ使用のいずれであるかにかかわらず、ログを表示、分析、またはエクスポートするユーザーは、承認済みの範囲内のコンテンツのみを参照できます。さらに、CloudLens for SLS では、プロジェクトおよび Logstore のアセット使用量のモニタリングが提供されます。