Application Real-Time Monitoring Service:Mengontrol pengumpulan riwayat percakapan

Perilaku pengumpulan dan format data

Secara default, probe merekam pesan input, pesan output, instruksi sistem, dan definisi tool sebagai JSON dalam atribut span.

Konfigurasi

• Konfigurasikan menggunakan variabel lingkungan berikut:

  Nama variabel lingkungan	Nilai
  OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT	True
  OTEL_INSTRUMENTATION_GENAI_MESSAGE_CONTENT_CAPTURE_STRATEGY	"span-attributes"

• Untuk aplikasi Java, Anda juga dapat mengonfigurasi ini melalui properti sistem dalam perintah startup, misalnya:

  -Dotel.instrumentation.genai.capture-message-content=true \
  -Dotel.instrumentation.genai.message-content.capture-strategy=span-attributes

Contoh

[
  {
    "role": "user",
    "parts": [
      {
        "type": "text",
        "content": "Weather in Paris?"
      }
    ]
  }
]

[
  {
    "role": "assistant",
    "parts": [
      {
        "type": "tool_call",
        "id": "call_VSPygqKTWdrhaFErNvMV18Yl",
        "name": "get_weather",
        "arguments": {
          "location": "Paris"
        }
      }
    ],
    "finish_reason": "tool_call"
  }
]

[
  {
    "type": "function",
    "name": "get_weather",
    "description": "Get the current temperature for a specific location."
  }
]

[
  {
    "role": "user",
    "parts": [
      {
        "type": "text",
        "content": "Weather in Paris?"
      }
    ]
  },
  {
    "role": "assistant",
    "parts": [
      {
        "type": "tool_call",
        "id": "call_VSPygqKTWdrhaFErNvMV18Yl",
        "name": "get_weather",
        "arguments": {
          "location": "Paris"
        }
      }
    ]
  },
  {
    "role": "tool",
    "parts": [
      {
        "type": "tool_call_response",
        "id": "call_VSPygqKTWdrhaFErNvMV18Yl",
        "response": "rainy, 57°F"
      }
    ]
  }
]

[
  {
    "role": "assistant",
    "parts": [
      {
        "type": "text",
        "content": "The weather in Paris is currently rainy with a temperature of 57°F."
      }
    ],
    "finish_reason": "stop"
  }
]

Perilaku pengumpulan dan format data

Dalam mode ini, probe tidak merekam konten detail dari pesan input, pesan output, atau instruksi sistem. Untuk definisi tool, probe hanya merekam informasi dasar dalam format JSON.

Konfigurasi

• Tetapkan variabel lingkungan berikut:

  Nama variabel lingkungan	Nilai
  OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT	False

• Untuk aplikasi Java, Anda juga dapat menambahkan properti sistem berikut ke perintah startup:

  -Dotel.instrumentation.genai.capture-message-content=false

Contoh

[
  {
    "type": "function",
    "name": "get_weather"
  }
]

Perilaku pengumpulan dan format data

Dalam mode ini, atribut span hanya menyimpan informasi dasar. Agent menulis informasi detail—seperti pesan input, pesan output, instruksi sistem, dan definisi tool—ke file log lokal dalam bentuk entri JSON satu baris.

Secara default, saat agent dimulai, agent mencari direktori log yang tersedia dengan memeriksa lokasi berikut secara berurutan:

1. Jika direktori ditentukan melalui variabel lingkungan APSARA_APM_AGENT_WORKSPACE_DIR, agent menulis log ke subdirektori .apsara-apm/{language}/logs di dalam direktori tersebut.

2. Direktori log agent: /home/admin/.opt/.apsara-apm/{language}/logs

3. Direktori home: ~/.apsara-apm/{language}/{agent_version}_{agent_commit_id}/logs

Saat aplikasi dimulai, agent mencetak pesan ke stdout yang menunjukkan direktori penyimpanan log. Untuk mempermudah manajemen direktori, disarankan menentukan direktori menggunakan variabel lingkungan APSARA_APM_AGENT_WORKSPACE_DIR.

Picked up [/Uxxxs/tools/log/.apsara-apm/python] as Agent Workspace.

File log riwayat percakapan diberi nama dengan format genai_messages_{ip}_{pid}.log. Ukuran maksimum file adalah 256 MB. Jika ukuran melebihi batas ini, file akan diputar (rotated). Sistem hanya menyimpan dua file log terbaru dan menghapus file yang lebih lama.

Konfigurasi

• Tetapkan variabel lingkungan berikut:

  Variabel lingkungan	Nilai
  OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT	True
  OTEL_INSTRUMENTATION_GENAI_MESSAGE_CONTENT_CAPTURE_STRATEGY	event

• Untuk aplikasi Java, Anda juga dapat mengonfigurasi ini dengan menambahkan System Properties ke perintah startup, misalnya:

  -Dotel.instrumentation.genai.capture-message-content=true \
  -Dotel.instrumentation.genai.message-content.capture-strategy=event

Contoh

{
  "scope": {
    "name": "aliyun.instrumentation.openai",
    "version": "1.0.1"
  },
  "timeUnixNano": 1760080084146812928,
  "severity": "UNSPECIFIED",
  "attributes": {
    "event.name": "gen_ai.client.inference.operation.details",
    "gen_ai.provider.name": "openai",
    "gen_ai.operation.name": "chat",
    "gen_ai.request.model": "gpt-4",
    "gen_ai.request.max_tokens": 200,
    "gen_ai.request.top_p": 1.0,
    "gen_ai.response.id": "chatcmpl-9J3uIL87gldCFtiIbyaOvTeYBRA3l",
    "gen_ai.response.model": "gpt-4-0613",
    "gen_ai.usage.output_tokens": 17,
    "gen_ai.usage.input_tokens": 47,
    "gen_ai.response.finish_reasons": ["tool_calls"],
    "gen_ai.input.messages": "[{\"role\":\"user\",\"parts\":[{\"type\":\"text\",\"content\":\"Weather in Paris?\"}]}]",
    "gen_ai.output.messages": "[{\"role\":\"assistant\",\"parts\":[{\"type\":\"tool_call\",\"id\":\"call_VSPygqKTWdrhaFErNvMV18Yl\",\"name\":\"get_weather\",\"arguments\":{\"location\":\"Paris\"}}],\"finish_reason\":\"tool_call\"}]",
    "gen_ai.tool.definitions": "[{\"type\":\"function\",\"name\":\"get_weather\",\"description\":\"Get the current temperature for a specific location.\"}]"
  },
  "traceId": "0b46a347592ac487ed092ebe802c6818",
  "spanId": "b3c40af8cd1a522c"
}

{
  "scope": {
    "name": "aliyun.instrumentation.openai",
    "version": "1.0.1"
  },
  "timeUnixNano": 1760080084176812928,
  "severity": "UNSPECIFIED",
  "attributes": {
    "event.name": "gen_ai.client.inference.operation.details",
    "gen_ai.provider.name": "openai",
    "gen_ai.operation.name": "chat",
    "gen_ai.request.model": "gpt-4",
    "gen_ai.request.max_tokens": 200,
    "gen_ai.request.top_p": 1.0,
    "gen_ai.response.id": "chatcmpl-VSPygqKTWdrhaFErNvMV18Yl",
    "gen_ai.response.model": "gpt-4-0613",
    "gen_ai.usage.output_tokens": 52,
    "gen_ai.usage.input_tokens": 97,
    "gen_ai.response.finish_reasons": ["stop"],
    "gen_ai.input.messages": "[{\"role\":\"user\",\"parts\":[{\"type\":\"text\",\"content\":\"Weather in Paris?\"}]},{\"role\":\"assistant\",\"parts\":[{\"type\":\"tool_call\",\"id\":\"call_VSPygqKTWdrhaFErNvMV18Yl\",\"name\":\"get_weather\",\"arguments\":{\"location\": \"Paris\"}}]},{\"role\":\"tool\",\"parts\":[{\"type\":\"tool_call_response\",\"id\":\"call_VSPygqKTWdrhaFErNvMV18Yl\",\"response\":\"rainy, 57°F\"}]}]",
    "gen_ai.output.messages": "[{\"role\":\"assistant\",\"parts\":[{\"type\":\"text\",\"content\":\"The weather in Paris is currently rainy with a temperature of 57°F.\"}],\"finish_reason\":\"stop\"}]"
  },
  "traceId": "0b46a347592ac487ed092ebe802c6818",
  "spanId": "0a706a178bd746c5"
}

Langkah 1: Instal LoongCollector

Jika LoongCollector sudah terinstal di lingkungan Anda, langkah ini dapat dilewati.

Langkah 2: Buat konfigurasi pengumpulan

1. Login ke Konsol Log Service. Klik project target, perluas Logstore tempat Anda ingin menyimpan log, lalu klik ikon di samping Data Import. Di bagian JSON - Text Log, klik Connect Now.

2. Pilih machine group yang sudah ada atau buat yang baru untuk host tempat log disimpan.

   Untuk Scenario, pilih Host Scenario. Untuk Installation Environment, pilih ECS. Di daftar Applied Machine Group, pastikan machine group target (misalnya, genai) telah ditambahkan.

3. Buat konfigurasi pengumpulan. Di bawah Input Configuration, ganti File Path dengan direktori log aktual Anda. Untuk menemukan path direktori, periksa output standar aplikasi saat startup. Untuk Processing Configuration, pilih parsing JSON standar.

   Sebagai contoh, atur Configuration Name menjadi playground-test-config, pilih Text Log Collection untuk Input Type, gunakan format path file seperti /home/admin/logs/.apsara-apm/java/**/logs/genai_messages_*.log, dan atur Maximum Directory Monitoring Depth menjadi 1.

   xxx
   Picked up /home/admin/logs/.apsara-apm/java/4.6.0_4e280e61/ as Agent Workspace.
   Unable to locate the -XX:ErrorFile parameter in the JVM options.
   If you are using Kubernetes, we recommend updating ack-onepilot to version 3.2.3 or later.
   For other environments, please consider adding the following parameters manually:
   -XX:ErrorFile=/{JavaAgentDirectory}/hs_err_pid%p.log
   -XX:OnError=/{JavaAgentDirectory}/crash_log_collector.sh
   These settings will enable automatic crash log collection to ARMS, helping us monitor
    incidents and provide timely feedback.
   Please note that this reminder does not affect the functionality of ARMS.
   If you prefer not to make these changes, feel free to disregard this message.
   Apsara Java Agent start cost: 5071 ms

4. Untuk mengaktifkan pengambilan dan analisis data, konfigurasikan indeks sebagai berikut:
   Aktifkan Full-Text Index, tetapi nonaktifkan Case Sensitive dan Include Chinese Characters. Di bawah Query on Specified Fields, tambahkan indeks untuk bidang-bidang berikut: attributes (tipe: json; aktifkan Case Sensitive dan Include Chinese Characters), resource (tipe: json; aktifkan Case Sensitive dan Include Chinese Characters), spanId (tipe: text; nonaktifkan Case Sensitive dan Include Chinese Characters), dan traceId (tipe: text; nonaktifkan Case Sensitive dan Include Chinese Characters).
   
   
   
   

Langkah 3: Lihat log yang dikumpulkan di SLS

Setelah konfigurasi awal selesai, log akan muncul di Log Service (SLS) dalam beberapa menit:

▼ attributes: {}
    event.name: "gen_ai.client.inference.operation.details"
    gen_ai.input.messages: "[{"role":"system","parts":[{"type":"text","content":"	
xxx
xxx
xxx
:
xxx
                              xxx"}]},{"role":"user","parts":[{"type":"text","content":"xxx"}]}]"
    gen_ai.operation.name: "invoke_agent"
    gen_ai.output.messages: "[{"role":"assistant","parts":[{"type":"text","content":"
xxx
                                    "}],"finishReason":"stop"}]"
    gen_ai.provider.name: "spring-ai"
    gen_ai.request.model: "qwen-max"
    gen_ai.request.temperature: 0.8
  ► gen_ai.response.finish_reasons: []
    gen_ai.response.id: "0d98f.xxx"
    gen_ai.tool.definitions: "[{"type":"function","name":"getBookingDetails"},{"type":"function","name":"cancelBooking"},{"type":"function","name":"changeBooking"}]"
    gen_ai.usage.input_tokens: 1300
    gen_ai.usage.output_tokens: 59
body:
▼ resource: {}
  ► attributes: {}

Konfigurasi

• Konfigurasikan batas menggunakan variabel lingkungan berikut:

  Variabel lingkungan	Nilai
  OTEL_INSTRUMENTATION_GENAI_MESSAGE_CONTENT_MAX_LENGTH	8192

• Untuk aplikasi Java, Anda juga dapat mengonfigurasi batas ini dengan menambahkan System Property ke perintah startup, misalnya:

  -Dotel.instrumentation.genai.message-content.max-length=8192

Isi pesan yang dikenai pemotongan