Simple Log Service (SLS) は、Logstore から Object Storage Service (OSS) バケットにログデータを転送し、長期保存やオフライン分析を行うことができます。このトピックでは、OSS データ転送ジョブ (新バージョン) の作成方法について説明します。
前提条件
-
プロジェクトと Logstore が作成されていること。
-
ログデータが収集されていること。
-
SLS プロジェクトが存在するリージョンに OSS バケットが作成されていること。 詳細については、「バケットの作成」をご参照ください。
-
OSS データ転送の新バージョンは、特定のリージョンでのみ利用可能です。 ご利用のプロジェクトがサポート対象のリージョンにあることを確認してください。
サポート対象リージョン
SLS は、同一リージョン内の OSS にデータを転送します。 OSS バケットは、SLS プロジェクトが存在するリージョンと同じリージョンに存在する必要があります。
OSS へのデータ配信の新バージョンは、次のリージョンでのみサポートされています:中国 (杭州)、中国 (上海)、中国 (青島)、中国 (北京)、中国 (張家口)、中国 (フフホト)、中国 (ウランチャブ)、中国 (成都)、中国 (深セン)、中国 (河源)、中国 (広州)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、フィリピン (マニラ)、タイ (バンコク)、日本 (東京)、米国 (シリコンバレー)、米国 (バージニア)、サウジアラビア (リヤド)、およびサウジアラビアの仮想ネットワークオペレーター。
データ転送ジョブの作成
Simple Log Service コンソールにログインします。
-
ログ管理 > Logstores タブで、目的の Logstore の左側にある > をクリックし、データ変換 > エクスポート > Object Storage Service (OSS) を選択します。
-
ポインターを Object Storage Service (OSS) に合わせ、[+] をクリックします。
-
OSS LogShipper パネルで、次のパラメーターを設定し、OK をクリックします。
転送バージョン を 新バージョン に設定します。次の表では、主要なパラメーターについて説明します。
-
OSS データ転送ジョブを作成すると、各シャードは [バッチサイズ] と [バッチ間隔] に基づいて転送頻度を決定します。 いずれかの条件が満たされると、転送がトリガーされます。
パラメーター
説明
ジョブ名
転送ジョブの一意の名前。
表示名
シッピングジョブの表示名
ジョブの説明
OSS 転送ジョブの説明。
OSS バケット
重要OSS バケットはすでに存在し、WORM (Write Once Read Many) が無効になっており、SLS プロジェクトと同じリージョンに存在する必要があります。
データは、標準、低頻度アクセス、アーカイブ、コールドアーカイブ、ディープコールドアーカイブの各ストレージクラスのバケットに転送できます。 デフォルトでは、転送されたオブジェクトはバケットと同じストレージクラスを使用します。
標準以外のストレージクラスには、最小保存期間と最小課金サイズの要件があります。 ニーズに基づいて送信先バケットのストレージクラスを選択してください。
OSS 書き込み RAM ロール
-
OSS データ転送ジョブに、OSS バケットにデータを書き込む権限を付与します。 LogStore と OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、[デフォルトロール] を選択します。 異なるアカウントに属している場合は、[カスタムロール] を選択します。 - Default Role: OSS データ転送ジョブに対し、Alibaba Cloud のシステムロール
AliyunLogDefaultRoleとして OSS バケットにデータを書き込む権限を付与します。AliyunLogDefaultRoleの Alibaba Cloud リソースネーム (ARN) を入力します。 ARN の取得方法の詳細については、「デフォルトロールを使用したデータへのアクセス」をご参照ください。 - Custom Role: カスタムロールとして、OSS データ転送ジョブに OSS バケットへのデータ書き込み権限を付与します。 カスタムロールに OSS バケットへのデータ書き込み権限を付与し、OSS 書き込み RAM ロール にカスタムロールの ARN を入力します。 次のシナリオに基づいて ARN を取得します。 - LogStore と OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、「手順 2: OSS バケットへの書き込み権限を付与する」をご参照ください。 - LogStore と OSS バケットが異なる Alibaba Cloud アカウントに属している場合は、「アカウント間で OSS バケットへの書き込み権限を付与する」をご参照ください。
Logstore 読み取り RAM ロール
OSS データ転送ジョブに、Logstore からデータを読み取る権限を付与します。 Logstore と OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、デフォルトロールを選択します。 異なるアカウントに属している場合は、カスタムロールを選択します。 - Default Role: OSS データ転送ジョブが、Alibaba Cloud の
AliyunLogDefaultRoleシステムロールとして Logstore からデータを読み取ることを承認します。AliyunLogDefaultRoleの ARN を入力します。 ARN の取得方法の詳細については、「デフォルトロールを使用したデータへのアクセス」をご参照ください。 - Custom Role: OSS データ転送ジョブが、カスタムロールとして Logstore からデータを読み取ることを承認します。 カスタムロールに Logstore からデータを読み取る権限を付与し、その後 [Logstore 読み取り RAM ロール] にカスタムロールの ARN を入力します。 Logstore と OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、「手順 1: Logstore の読み取り権限を付与する」をご参照ください。 異なるアカウントに属している場合は、「アカウント間で Logstore の読み取り権限を付与する」をご参照ください。保存形式
データが OSS に転送された後、データはさまざまなファイル形式で保存できます。
圧縮
OSS にデータを保存するために使用される圧縮方法。 - 圧縮なし (none):データを圧縮しません。 - 圧縮 (snappy):snappy アルゴリズムを使用してデータを圧縮し、OSS バケットのストレージ容量を削減します。 - 圧縮 (zstd):zstd アルゴリズムを使用してデータを圧縮し、OSS バケットのストレージ容量を削減します。 - 圧縮 (gzip):gzip アルゴリズムを使用してデータを圧縮し、OSS バケットのストレージ容量を削減します。
タグを配信するかどうか
タグフィールドは SLS の予約フィールドです。
バッチサイズ
転送を開始する前にシャードに蓄積する必要がある非圧縮ログデータの量。 有効値:5~256。 単位:MB。 この値は、各 OSS オブジェクトのおおよそのサイズを制御します。 バッチサイズは、SLS が読み取りを開始した後に蓄積されたデータを測定するものであり、すでに SLS に書き込まれたデータではありません。 データは、[バッチ間隔] の条件も満たされた後にのみ読み取られ、転送されます。
バッチ間隔
シャードが転送操作をトリガーするまで待機する最大時間。 現在のバッチに最初のログエントリが到着してから指定された時間が経過すると、転送が開始されます。 デフォルト値:300。 有効値:300~900。 単位:秒。
配送レイテンシー
データが転送されるまでの遅延。 たとえば、このパラメーターを 3600 に設定すると、データは 1 時間後に転送されます。 2023 年 6 月 5 日 10:00:00 に生成されたデータは、2023 年 6 月 5 日 11:00:00 より前に指定された OSS バケットに書き込まれることはありません。
開始時刻の範囲
OSS データ転送ジョブの時間範囲。 時間範囲は、ログが受信された時間に基づきます。 有効値: - すべて:Logstore が最初のログを受信した時点から、ジョブが手動で停止されるまでデータを転送します。 - 指定時刻から:指定された開始時刻から、ジョブが手動で停止されるまでデータを転送します。 - 指定時間範囲:指定された開始時刻から指定された終了時刻までデータを転送します。 ジョブは指定された終了時刻に自動的に停止します。 時間範囲は、
__tag__:__receive_time__フィールドに基づきます。タイムゾーン
時刻の値をフォーマットするために使用されるタイムゾーンです。タイムゾーン と ディレクトリ形式 の両方を設定した場合、OSS バケット内のサブディレクトリは設定に基づいて生成されます。
-
-
ジョブが作成された後、ジョブのステータスを確認し、送信先の OSS バケットにデータが表示されることを確認して、転送ジョブが期待どおりに機能していることを検証します。
OSS データの表示
データが OSS に転送された後、OSS コンソール、OSS API、SDK、またはその他の方法でデータにアクセスできます。 詳細については、「オブジェクト管理の概要」をご参照ください。
パーティション形式
各転送操作は、次の形式の OSS オブジェクト URL にマッピングされます。 次の表は、2022 年 1 月 20 日 19:50:43 に作成された転送ジョブに基づいたパーティション形式を示しています。
oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID
OSS-BUCKET は OSS バケットの名前です。 OSS-PREFIX はディレクトリのプレフィックスです。 PARTITION-FORMAT はパーティション形式で、strptime API を使用して転送時間から計算されます。 RANDOM-ID は、転送操作の一意の識別子です。
|
OSS バケット |
OSS プレフィックス |
パーティション形式 |
オブジェクトサフィックス |
OSS オブジェクトの URL |
|
test-bucket |
test-table |
%Y/%m/%d/%H/%M |
.suffix |
oss://test-bucket/test-table/2022/01/20/19/50_1484913043351525351_2850008.suffix |
|
test-bucket |
|
year=%Y/mon=%m/day=%d/log_%H%M |
.suffix |
oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_1950_1484913043351525351_2850008.suffix |
|
test-bucket |
|
ds=%Y%m%d/%H |
.suffix |
oss://test-bucket/log_ship_oss_example/ds=20220120/19_1484913043351525351_2850008.suffix |
|
test-bucket |
|
%Y%m%d/ |
.suffix |
oss://test-bucket/log_ship_oss_example/20220120/_1484913043351525351_2850008.suffix > 注:この形式は、Hive などのプラットフォームで解析エラーを引き起こす可能性があります。 この形式を使用しないことを推奨します。 |
| test-bucket | log_ship_oss_example | %Y%m%d%H | .suffix | oss://test-bucket/log_ship_oss_example/2022012019_1484913043351525351_2850008.suffix |
データはバッチで OSS に転送されます。 各転送操作は、データのバッチを含む 1 つのオブジェクトを書き込みます。 オブジェクトパスは、バッチ内の最も早い receive_time (データが SLS に到着した時刻) によって決定されます。 次のシナリオにご注意ください:
-
リアルタイムデータを転送する場合、たとえば 5 分ごとに 1 回転送する場合、2022 年 1 月 22 日 00:00:00 に実行された転送操作は、2022 年 1 月 21 日 23:55 以降に SLS のシャードに書き込まれたデータを転送します。 2022 年 1 月 22 日のすべてのデータを分析するには、OSS バケットの 2022/01/22 サブディレクトリ内のすべてのオブジェクトを確認し、2022/01/21 サブディレクトリ内の最後のオブジェクトに 2022 年 1 月 22 日のデータが含まれているかどうかを確認します。
-
履歴データを転送する場合、Logstore 内のデータ量が少ないと、1 回のプルで複数日分のデータが返されることがあります。 その結果、2022/01/22 サブディレクトリ内のオブジェクトに 2022 年 1 月 23 日のすべてのデータが含まれ、2022/01/23 サブディレクトリにはオブジェクトが存在しない場合があります。
Hive や
MaxCompute、または Alibaba Cloud Data Lake Analytics (DLA) などのビッグデータプラットフォームを使用して OSS データを分析する場合、パーティション情報を使用したい場合は、オブジェクト名の PARTITION-FORMAT を key=value 形式に設定できます。 例:oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet。 この例では、year、mon、day の 3 つのパーティション列が設定されています。