コンテキストクエリは、特定のソースからターゲットログの直前と直後のログを特定します。大量のログを処理する場合、PackId を割り当てて関連ログをグループ化することで、高速かつ完全なコンテキスト取得が可能になります。
仕組み
PackId は、「コンテキストプレフィックス-ロググループ ID」という形式です。例: 5FA51423DDB54FDA-1E3
-
コンテキストプレフィックス: 大文字の16進数です (例:
5FA51423DDB54FDA)。同じコンテキストプレフィックスを共有するログは、同じログコンテキストに属します。 -
ロググループ ID: 大文字の16進数です (例:
1E3)。ログコンテキスト内では、ロググループ IDは順番にインクリメントされます。たとえば、1E3と1E4は隣接するグループです。
クライアントは PackId を生成し、ログ書き込みリクエストとともに送信します。Simple Log Service は、同じコンテキストプレフィックスを共有するログを同じログコンテキストにグループ化します。
PackId の自動生成
-
プロデューサー SDK で書き込まれたログ: 同じプロデューサーインスタンスからのログはコンテキストを共有し、コンテキストクエリをサポートします。Aliyun Log Java Producer と C Producer SDK は、PackId を自動的に生成して付加します。
-
Logtail で収集されたログ: Logtail は PackId を自動的に生成して付加します。同じホストまたは Pod 上の同じファイルからのログはコンテキストを共有し、コンテキストクエリをサポートします。
PutLogs API を使用した PackId の手動生成
パラメーター
PutLogs API を呼び出す際、PutLogs リクエスト 内の LogGroup の LogTags 属性に PackId を含めます。Key を __pack_id__ に設定します。
{
"Topic": "my-topic",
"Source": "127.0.0.1",
"LogTags": [
{
"Key": "__pack_id__",
"Value": "5FA51423DDB54FDA-1"
},
{
"Key": "my_other_tag_key",
"Value": "my_other_tag_value"
}
],
"Logs": [
{
"Time": 1728961415,
"Contents": [
{
"Key": "hello",
"Value": "world"
}
]
}
]
}
サンプルコード
Java の例
-
pom.xml ファイルに次の依存関係を追加します。
<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>27.0.1-jre</version> </dependency> <dependency> <groupId>com.aliyun.openservices</groupId> <artifactId>aliyun-log</artifactId> <version>0.6.111</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>2.0.12</version> </dependency> -
次のコードを実行して PackId を生成し、PutLogs を使用してアップロードします。
project、logstore、endpoint、accessKeyId、accessKeySecretを実際の値に置き換えてください。package org.example; import com.aliyun.openservices.log.Client; import com.aliyun.openservices.log.common.LogItem; import com.aliyun.openservices.log.common.TagContent; import com.aliyun.openservices.log.exception.LogException; import com.aliyun.openservices.log.request.PutLogsRequest; import com.google.common.base.Charsets; import com.google.common.hash.Hashing; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.lang.management.ManagementFactory; import java.net.InetAddress; import java.net.NetworkInterface; import java.net.SocketException; import java.util.ArrayList; import java.util.Arrays; import java.util.Enumeration; import java.util.List; import java.util.concurrent.atomic.AtomicLong; public class Main { private static final String TAG_PACK_ID = "__pack_id__"; private static final int TOKEN_LEN = 4; public static void main(String[] args) throws LogException { System.out.println("Hello world!"); // 同じコンテキストには同じ PackIdGenerator インスタンスを使用してください。 PackIdGenerator generator1 = new PackIdGenerator(); System.out.println(generator1.generateNewPackId()); System.out.println(generator1.generateNewPackId()); System.out.println(generator1.generateNewPackId()); // 異なるコンテキストには異なる PackIdGenerator インスタンスを使用してください。 PackIdGenerator generator2 = new PackIdGenerator(); System.out.println(generator2.generateNewPackId()); System.out.println(generator2.generateNewPackId()); // ログパラメーターを設定します。 String project = "your-project-name"; String logstore = "your-logstore-name"; String topic = "your-topic"; String source = "127.0.0.1"; Client client = new Client("your-endpoint", "your-access-key-id", "your-access-key-secret"); List<LogItem> logs = new ArrayList<>(); LogItem log = new LogItem(); log.PushBack("hello", "world"); logs.add(log); // ログリクエストを送信します。 PutLogsRequest req = new PutLogsRequest(project, logstore, topic, source, logs); // タグリストに PackId を追加します。 req.SetTags(Arrays.asList(new TagContent(TAG_PACK_ID, generator1.generateNewPackId()))); client.PutLogs(req); // 別のログリクエストを送信します。 PutLogsRequest req2 = new PutLogsRequest(project, logstore, topic, source, logs); req2.SetTags(Arrays.asList(new TagContent(TAG_PACK_ID, generator1.generateNewPackId()))); client.PutLogs(req2); } public static class NetworkUtils { private NetworkUtils() { } public static boolean isIpAddress(final String ipAddress) { if (ipAddress == null || ipAddress.isEmpty()) { return false; } try { final String[] tokens = ipAddress.split("\\."); if (tokens.length != TOKEN_LEN) { return false; } for (String token : tokens) { int i = Integer.parseInt(token); if (i < 0 || i > 255) { return false; } } return true; } catch (Exception ex) { return false; } } public static String getLocalMachineIp() { try { Enumeration<NetworkInterface> networkInterfaces = NetworkInterface.getNetworkInterfaces(); while (networkInterfaces.hasMoreElements()) { NetworkInterface ni = networkInterfaces.nextElement(); if (!ni.isUp()) { continue; } Enumeration<InetAddress> addresses = ni.getInetAddresses(); while (addresses.hasMoreElements()) { final InetAddress address = addresses.nextElement(); if (!address.isLinkLocalAddress() && address.getHostAddress() != null) { String ipAddress = address.getHostAddress(); if ("127.0.0.1".equals(ipAddress)) { continue; } if (isIpAddress(ipAddress)) { return ipAddress; } } } } } catch (SocketException ex) { // 例外を無視します。 } return null; } } public static class PackIdGenerator { private static final Logger LOGGER = LoggerFactory.getLogger(PackIdGenerator.class); private static final AtomicLong GENERATORID = new AtomicLong(0); private final String packIdPrefix; private final AtomicLong batchId = new AtomicLong(0); public PackIdGenerator() { packIdPrefix = generatePackIdPrefix(GENERATORID.getAndIncrement()).toUpperCase() + "-"; } public String generateNewPackId() { return packIdPrefix + Long.toHexString(batchId.getAndIncrement()).toUpperCase(); } private String generatePackIdPrefix(Long instanceId) { String ip = NetworkUtils.getLocalMachineIp(); if (ip == null) { LOGGER.warn("Failed to get local machine ip, set ip to 127.0.0.1"); ip = "127.0.0.1"; } String name = ManagementFactory.getRuntimeMXBean().getName(); String input = ip + "-" + name + "-" + instanceId; return Hashing.farmHashFingerprint64().hashString(input, Charsets.US_ASCII).toString(); } } }
Go の例
-
Go SDK と protobuf 依存関係をインストールしてください。
go get -u github.com/aliyun/aliyun-log-go-sdk go get google.golang.org/protobuf -
次のコードを実行して PackId を生成し、PutLogs を使用してアップロードします。
project、logstore、endpoint、accessKeyId、accessKeySecretを実際の値に置き換えてください。package main import ( "crypto/md5" "fmt" "os" "sync/atomic" "time" sls "github.com/aliyun/aliyun-log-go-sdk" "google.golang.org/protobuf/proto" ) func main() { // 同じコンテキストには同じ PackIdGenerator インスタンスを使用してください。 g1 := NewPackIdGenerator() fmt.Println(g1.Generate()) fmt.Println(g1.Generate()) fmt.Println(g1.Generate()) // 異なるコンテキストには異なる PackIdGenerator インスタンスを使用してください。 g2 := NewPackIdGenerator() fmt.Println(g2.Generate()) fmt.Println(g2.Generate()) // ログパラメーターを設定します。 project := "your-project-name" logstore := "your-logstore-name" topic := "your-topic" source := "your-source" client := sls.CreateNormalInterface("your-endpoint", "your-access-key-id", "your-access-key-secret", "") logs := []*sls.Log{ { Time: proto.Uint32(uint32(time.Now().Unix())), Contents: []*sls.LogContent{ { Key: proto.String("hello"), Value: proto.String("world"), }, { Key: proto.String("hi"), Value: proto.String("world"), }, }, }, } // PostLogStoreLogsV2 API を使用してログを書き込みます。 err := client.PostLogStoreLogsV2(project, logstore, &sls.PostLogStoreLogsRequest{ LogGroup: &sls.LogGroup{ Topic: &topic, Source: &source, Logs: logs, LogTags: []*sls.LogTag{ { Key: proto.String("__pack_id__"), // タグリストに PackId を追加します。 Value: proto.String(g1.Generate()), }, }, }, }) if err != nil { panic(err) } // PutLogs API を使用してログを書き込みます。g1.Generate() は新しい PackId を作成します。 err = client.PutLogs(project, logstore, &sls.LogGroup{ Topic: &topic, Source: &source, Logs: logs, LogTags: []*sls.LogTag{ { Key: proto.String("__pack_id__"), // タグリストに PackId を追加します。 Value: proto.String(g1.Generate()), }, }, }) if err != nil { panic(err) } } type PackIdGenerator struct { prefix string id atomic.Uint64 } func NewPackIdGenerator() *PackIdGenerator { return &PackIdGenerator{ prefix: generatePackIDPrefix(), id: atomic.Uint64{}, } } func (g *PackIdGenerator) Generate() string { return fmt.Sprintf("%s-%X", g.prefix, g.id.Add(1)) } // ホスト名、PID、時刻からコンテキストを生成します。 func generatePackIDPrefix() string { m := md5.New() m.Write([]byte(time.Now().String())) hostName, _ := os.Hostname() m.Write([]byte(hostName)) m.Write([]byte(fmt.Sprintf("%v", os.Getpid()))) return fmt.Sprintf("%X", m.Sum(nil)) }
ログコンテキストの表示
-
プロジェクトで、対象の Logstore をクリックします。 タブで対象のログを見つけ、
アイコンをクリックします。説明PutLogs を使用して同じ PackId のコンテキストプレフィックスで送信されたログは、同じログコンテキストにグループ化されます。[コンテキストビュー] をクリックすると、同じコンテキストプレフィックスを共有するロググループが表示され、対象のログがハイライトされます。
時間範囲 (例: [15 分]) を設定し、[クエリ / 分析] をクリックします。
-
ページをスクロールして、選択したログのコンテキストを表示します。
[コンテキストビュー] パネルでは、現在のログがハイライトされます。[古い] と [新しい] を使用して、隣接するログを閲覧できます。[すべてのフィールド] からフィールドを選択するか、キーワードを入力して一致する箇所をハイライトできます。
関連ドキュメント
-
コンソールでのログコンテキストの表示:「コンテキストクエリ」をご参照ください。
-
SDK または API を使用したログの書き込み:「Aliyun Log Java Producer を使用したログデータの書き込み」、「C Producer SDK」、「PutLogs」をご参照ください。