コンテキストクエリを実行するには、サーバー上のログファイルなどのログソースと、クエリ対象のコンテキストを持つログを指定する必要があります。クエリ操作は、指定されたログの前または後に生成され、ログファイルから収集されたログを返します。詳細については、「コンテキストクエリ」をご参照ください。大量のログを処理する場合、特定のログに PackId 識別子を追加して、ログをロググループに分類できます。 PackId 識別子を使用すると、ロググループを効率的かつ完全にクエリできます。これは、ログのコンテキストを特定するのに役立ちます。この Topic では、ログに PackId 識別子を追加する方法について説明します。
しくみ
Simple Log Service は、ログをコンテキストに関連付ける PackId 識別子を追加します。PackId 識別子は、コンテキストプレフィックス - ロググループ ID 形式です。例: 5FA51423DDB54FDA-1E3。
コンテキスト プレフィックス: コンテキスト プレフィックスは 16 進数です。例:
5FA51423DDB54FDA。同じコンテキスト プレフィックスを持つログは、同じログのコンテキストに属します。ロググループ ID: ロググループ ID は 16 進数です。例:
1E3。ログのコンテキストでは、ロググループ IDは増分です。たとえば、1E3と1E4は、同じログコンテキスト内の隣接するロググループを示します。
使用するサーバーは PackId 識別子を生成し、ログと PackId 識別子を一度に Simple Log Service にアップロードします。同じコンテキストプレフィックスを持つログは、同じログのコンテキストに属します。
自動的に PackId 識別子を生成する
コンテキストクエリをプロデューサー SDK を使用して書き込まれたログで実行する: 同じプロデューサー インスタンスによって Simple Log Service に書き込まれたログは、同じコンテキストを持ち、コンテキストクエリで直接使用できます。たとえば、Aliyun Log Java プロデューサーまたは C プロデューサーを使用してログを書き込む場合、システムは自動的に PackId 識別子を生成し、ログと PackId 識別子を Simple Log Service にアップロードします。詳細については、「Aliyun Log Java プロデューサーを使用してログデータを Simple Log Service に書き込む」または「C プロデューサー SDK」をご参照ください。
Logtail を使用して収集されたログに対してコンテキストクエリを実行する: Logtail を使用してログを収集すると、システムによって PackId 識別子が自動的に生成され、収集されたログに追加されます。ホストまたはポッドのログファイル内のログは同じコンテキストを持ち、コンテキストクエリで直接使用できます。詳細については、「Logtail を使用してログを収集する」をご参照ください。
PackId 識別子を 手動で 生成し、PutLogs 操作を 呼び出して 関連ログを アップロードします
パラメーター
You can call the PutLogs operation to upload logs to Simple Log Service. For more information, see PutLogs. After a PackId identifier is manually generated, you must set the Key parameter to __pack_id__ and the Value parameter to the PackId identifier in the LogTags attribute of the LogGroup data structure to call the PutLogs operation.
{
"Topic": "my-topic",
"Source": "127.0.0.1",
"LogTags": [
{
"Key": "__pack_id__",
"Value": "5FA51423DDB54FDA-1"
},
{
"Key": "my_other_tag_key",
"Value": "my_other_tag_value"
}
],
"Logs": [
{
"Time": 1728961415,
"Contents": [
{
"Key": "hello",
"Value": "world"
}
]
}
]
}サンプル コード
Java
pom.xml ファイルに次の依存関係を追加します。
<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>27.0.1-jre</version> </dependency> <dependency> <groupId>com.aliyun.openservices</groupId> <artifactId>aliyun-log</artifactId> <version>0.6.111</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>2.0.12</version> </dependency>次のコードを使用して、PackId 識別子を 手動で 生成し、PutLogs 操作を呼び出してログをアップロードします。
project、logstore、endpoint、accessKeyId、およびaccessKeySecretパラメーターの値をビジネス要件に基づいて置き換えます。package org.example; import com.aliyun.openservices.log.Client; import com.aliyun.openservices.log.common.LogItem; import com.aliyun.openservices.log.common.TagContent; import com.aliyun.openservices.log.exception.LogException; import com.aliyun.openservices.log.request.PutLogsRequest; import com.google.common.base.Charsets; import com.google.common.hash.Hashing; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.lang.management.ManagementFactory; import java.net.InetAddress; import java.net.NetworkInterface; import java.net.SocketException; import java.util.ArrayList; import java.util.Arrays; import java.util.Enumeration; import java.util.List; import java.util.concurrent.atomic.AtomicLong; public class Main { private static final String TAG_PACK_ID = "__pack_id__"; private static final int TOKEN_LEN = 4; public static void main(String[] args) throws LogException { System.out.println("Hello world!"); // 同じコンテキストの場合、PackIdGenerator パラメーターに同じ値を指定します。 PackIdGenerator generator1 = new PackIdGenerator(); System.out.println(generator1.generateNewPackId()); System.out.println(generator1.generateNewPackId()); System.out.println(generator1.generateNewPackId()); // 異なるコンテキストの場合、PackIdGenerator パラメーターに異なる値を指定します。 PackIdGenerator generator2 = new PackIdGenerator(); System.out.println(generator2.generateNewPackId()); System.out.println(generator2.generateNewPackId()); // ログ設定を構成します。 String project = "project"; String logstore = "logstore"; String topic = "topic"; String source = "127.0.0.1"; Client client = new Client("endpoint", "accessKeyId", "accessKeySecret"); List<LogItem> logs = new ArrayList<>(); LogItem log = new LogItem(); log.PushBack("hello", "world"); logs.add(log); // ログをアップロードするリクエストを送信します。 PutLogsRequest req = new PutLogsRequest(project, logstore, topic, source, logs); // Tags パラメーターに PackId 識別子を含めます。 req.SetTags(Arrays.asList(new TagContent(TAG_PACK_ID, generator1.generateNewPackId()))); client.PutLogs(req); // ログをアップロードするリクエストを送信します。 PutLogsRequest req2 = new PutLogsRequest(project, logstore, topic, source, logs); req.SetTags(Arrays.asList(new TagContent(TAG_PACK_ID, generator1.generateNewPackId()))); client.PutLogs(req2); } public static class NetworkUtils { private NetworkUtils() { } public static boolean isIpAddress(final String ipAddress) { if (ipAddress == null || ipAddress.isEmpty()) { return false; } try { final String[] tokens = ipAddress.split("\\."); if (tokens.length != TOKEN_LEN) { return false; } for (String token : tokens) { int i = Integer.parseInt(token); if (i < 0 || i > 255) { return false; } } return true; } catch (Exception ex) { return false; } } public static String getLocalMachineIp() { try { Enumeration<NetworkInterface> networkInterfaces = NetworkInterface.getNetworkInterfaces(); while (networkInterfaces.hasMoreElements()) { NetworkInterface ni = networkInterfaces.nextElement(); if (!ni.isUp()) { continue; } Enumeration<InetAddress> addresses = ni.getInetAddresses(); while (addresses.hasMoreElements()) { final InetAddress address = addresses.nextElement(); if (!address.isLinkLocalAddress() && address.getHostAddress() != null) { String ipAddress = address.getHostAddress(); if ("127.0.0.1".equals(ipAddress)) { continue; } if (isIpAddress(ipAddress)) { return ipAddress; } } } } } catch (SocketException ex) { // swallow it } return null; } } public static class PackIdGenerator { private static final Logger LOGGER = LoggerFactory.getLogger(PackIdGenerator.class); private static final AtomicLong GENERATORID = new AtomicLong(0); private final String packIdPrefix; private final AtomicLong batchId = new AtomicLong(0); public PackIdGenerator() { packIdPrefix = generatePackIdPrefix(GENERATORID.getAndIncrement()).toUpperCase() + "-"; } public String generateNewPackId() { return packIdPrefix + Long.toHexString(batchId.getAndIncrement()).toUpperCase(); } private String generatePackIdPrefix(Long instanceId) { String ip = NetworkUtils.getLocalMachineIp(); if (ip == null) { LOGGER.warn("Failed to get local machine ip, set ip to 127.0.0.1"); ip = "127.0.0.1"; } String name = ManagementFactory.getRuntimeMXBean().getName(); String input = ip + "-" + name + "-" + instanceId; return Hashing.farmHashFingerprint64().hashString(input, Charsets.US_ASCII).toString(); } } }
Go
go get github.com/aliyun/aliyun-log-go-sdk go get github.com/golang/protobuf/proto
go get -u github.com/aliyun/aliyun-log-go-sdk go get google.golang.org/protobuf次のコードを使用して、PackId 識別子を 手動で 生成し、PutLogs 操作を呼び出してログをアップロードします。
project、logstore、endpoint、accessKeyId、およびaccessKeySecretパラメーターの値をビジネス要件に基づいて置き換えます。package main import ( "crypto/md5" "fmt" "os" "sync/atomic" "time" sls "github.com/aliyun/aliyun-log-go-sdk" "google.golang.org/protobuf/proto" ) func main() { // 同じコンテキストの場合、PackIdGenerator パラメーターに同じ値を指定します。 g1 := NewPackIdGenerator() fmt.Println(g1.Generate()) fmt.Println(g1.Generate()) fmt.Println(g1.Generate()) // 異なるコンテキストの場合、PackIdGenerator パラメーターに異なる値を指定します。 g2 := NewPackIdGenerator() fmt.Println(g2.Generate()) fmt.Println(g2.Generate()) // ログ設定を構成します。 project := "project" logstore := "logStore" topic := "topic" source := "source" client := sls.CreateNormalInterface("endpoint", "accessKeyId", "accessKeySecret", "") logs := []*sls.Log{ { Time: proto.Uint32(uint32(time.Now().Unix())), Contents: []*sls.LogContent{ { Key: proto.String("hello"), Value: proto.String("world"), }, { Key: proto.String("hi"), Value: proto.String("world"), }, }, }, } // PostLogStoreLogsV2 操作を呼び出して、ログをアップロードします。 err := client.PostLogStoreLogsV2(project, logstore, &sls.PostLogStoreLogsRequest{ LogGroup: &sls.LogGroup{ Topic: &topic, Source: &source, Logs: logs, LogTags: []*sls.LogTag{ { Key: proto.String("__pack_id__"), // LogTags パラメーターに PackId 識別子を含めます。 Value: proto.String(g1.Generate()), }, }, }, }) if err != nil { panic(err) } // PutLogs 操作を呼び出して、ログをアップロードします。 g1.Generate() 操作を呼び出して、新しい PackId 識別子を生成します。 err = client.PutLogs(project, logstore, &sls.LogGroup{ Topic: &topic, Source: &source, Logs: logs, LogTags: []*sls.LogTag{ { Key: proto.String("__pack_id__"), // LogTags パラメーターに PackId 識別子を含めます。 Value: proto.String(g1.Generate()), }, }, }) if err != nil { panic(err) } } type PackIdGenerator struct { prefix string id atomic.Uint64 } func NewPackIdGenerator() *PackIdGenerator { return &PackIdGenerator{ prefix: generatePackIDPrefix(), id: atomic.Uint64{}, } } func (g *PackIdGenerator) Generate() string { return fmt.Sprintf("%s-%X", g.prefix, g.id.Add(1)) } // make context by (hostname, pid, time) func generatePackIDPrefix() string { m := md5.New() m.Write([]byte(time.Now().String())) hostName, _ := os.Hostname() m.Write([]byte(hostName)) m.Write([]byte(fmt.Sprintf("%v", os.Getpid()))) return fmt.Sprintf("%X", m.Sum(nil)) }
ログのコンテキストを表示する
プロジェクトにアクセスし、管理するログストアをクリックします。 タブで、コンテキストを表示するログを見つけ、
アイコンをクリックします。説明PutLogs 操作を呼び出して Simple Log Service にログがアップロードされる場合、同じコンテキスト プレフィックスを持つログは、同じログのコンテキストに属します。詳細については、「PutLogs」をご参照ください。Simple Log Service では、ログは PackId 識別子によって分類されます。ログの [コンテキスト表示] アイコンをクリックすると、同じコンテキスト プレフィックスを持ち、異なるロググループに属するログを含む、ログのコンテキストログを表示できます。ログがハイライト表示されます。詳細については、「コンテキストクエリ」をご参照ください。

表示されるページで、上下にスクロールしてコンテクスチュアル ログを表示します。
関連情報
Simple Log Service コンソールでログのコンテキストをクエリできます。詳細については、「コンテキストクエリ」をご参照ください。
SDK または API を使用して、Simple Log Service にログを書き込むことができます。詳細については、「Aliyun Log Java Producer を使用して Simple Log Service にログデータを書き込む」、「C Producer SDK」、または「PutLogs」をご参照ください。