Simple Log Service (SLS) は、Logstore から Object Storage Service (OSS) のバケットにログデータを転送し、長期保存やオフライン分析に利用できます。このトピックでは、OSS データ転送ジョブ (新バージョン) の作成方法について説明します。
前提条件
プロジェクトと Logstore が作成済みであること。
ログデータが収集されていること。
SLS プロジェクトと同じリージョンに OSS バケットが作成されていること。詳細については、「」をご参照ください。
OSS データ転送の新バージョンは、特定のリージョンでのみ利用可能です。プロジェクトがサポート対象のリージョンにあることを確認してください。
サポート対象リージョン
SLS は、同一リージョン内で OSS にデータを転送します。OSS バケットは、SLS プロジェクトと同じリージョンに存在する必要があります。
OSS へのデータ転送の新バージョンは、次のリージョンでのみサポートされています：中国 (杭州)、中国 (上海)、中国 (青島)、中国 (北京)、中国 (張家口)、中国 (フフホト)、中国 (ウランチャブ)、中国 (成都)、中国 (深圳)、中国 (河源)、中国 (広州)、香港 (中国)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、フィリピン (マニラ)、タイ (バンコク)、日本 (東京)、米国 (シリコンバレー)、米国 (バージニア)、サウジアラビア (リヤド)、およびサウジ仮想ネットワークオペレーター。
データ転送ジョブの作成
Simple Log Service コンソールにログインします。
1. ログ管理 > Logstores タブで、対象の Logstore の左側にある [>] をクリックし、データ変換 > エクスポート > Object Storage Service (OSS) を選択します。
Object Storage Service (OSS) にカーソルを合わせ、[+] をクリックします。
OSS LogShipper パネルで、次のパラメーターを設定し、OK をクリックします。
転送バージョン を 新バージョン に設定します。次の表に、主要なパラメーターを示します。
OSS データ転送ジョブを作成すると、各シャードは [バッチサイズ] と [バッチ間隔] に基づいて転送頻度を決定します。いずれかの条件が満たされると、転送が開始されます。
パラメーター
説明
ジョブ名
転送ジョブの一意な名前です。
[表示名]
転送ジョブの表示名です。
ジョブの説明
OSS 転送ジョブの説明です。
OSSバケット
OSS バケットの名前です。 > 重要： - バケットは既存のものであり、Write Once Read Many (WORM) が無効で、かつ SLS プロジェクトと同じリージョンに存在する必要があります。
[OSS 書き込み RAM ロール]
OSS データ転送ジョブが OSS バケットにデータを書き込むことを許可します。Logstore と OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、[デフォルトロール] を選択します。異なるアカウントに属している場合は、[カスタムロール] を選択します。- Default Role：Alibaba Cloud の
AliyunLogDefaultRoleシステムロールとして、OSS データ転送ジョブが OSS バケットにデータを書き込むことを許可します。AliyunLogDefaultRoleの Alibaba Cloud リソースネーム (ARN) を入力します。ARN の取得方法については、「」をご参照ください。 - Custom Role：カスタムロールとして、OSS データ転送ジョブが OSS バケットにデータを書き込むことを許可します。カスタムロールに OSS バケットへのデータ書き込み権限を付与し、そのカスタムロールの ARN を OSS 書き込み RAM ロール に入力します。ARN は、次のシナリオに基づいて取得します：- Logstore と OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、「」をご参照ください。- Logstore と OSS バケットが異なる Alibaba Cloud アカウントに属している場合は、「」をご参照ください。Logstore読み取り RAM ロール
OSS データ転送ジョブが Logstore からデータを読み取ることを許可します。Logstore と OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、[デフォルトロール] を選択します。異なるアカウントに属している場合は、[カスタムロール] を選択します。 - Default Role：Alibaba Cloud の
AliyunLogDefaultRoleシステムロールとして、OSS データ転送ジョブが Logstore からデータを読み取ることを許可します。AliyunLogDefaultRoleの ARN を入力します。ARN の取得方法については、「」をご参照ください。 - Custom Role：カスタムロールとして、OSS データ転送ジョブが Logstore からデータを読み取ることを許可します。カスタムロールに Logstore からのデータ読み取り権限を付与し、そのカスタムロールの ARN を [Logstore読み取りRAMロール] に入力します。[保存形式]
データが OSS に転送された後、データはさまざまなファイル形式で保存できます。
[圧縮]
OSS にデータを保存するために使用される圧縮方法。- 圧縮なし (none)：データを圧縮しません。- 圧縮 (snappy)：snappy アルゴリズムを使用してデータを圧縮し、OSS バケットのストレージ領域を削減します。- 圧縮 (zstd)：zstd アルゴリズムを使用してデータを圧縮し、OSS バケットのストレージ領域を削減します。- 圧縮 (gzip)：gzip アルゴリズムを使用してデータを圧縮し、OSS バケットのストレージ領域を削減します。
[タグを配信するかどうか]
タグフィールドは SLS の予約フィールドです。
バッチサイズ
転送を開始するまでにシャードに蓄積する非圧縮ログデータの量です。有効値の範囲は 5～256 MB です。この値は、各 OSS オブジェクトのおおよそのサイズを制御します。バッチサイズは、SLS にすでに書き込まれたデータではなく、SLS が読み取りを開始した後に蓄積されたデータを指します。データは、[バッチ間隔] の条件も満たされた後にのみ読み取られて転送されます。
バッチ間隔
シャードが転送を開始するまでの最大待機時間です。現在のバッチに最初のログエントリが到着してから指定された時間が経過すると、転送が開始されます。デフォルト値は 300、有効値の範囲は 300～900 です。単位は秒です。
転送レイテンシー
データが転送されるまでの遅延時間です。たとえば、このパラメーターを 3600 に設定すると、データは 1 時間後に転送されます。2023年6月5日10:00:00に生成されたデータは、2023年6月5日11:00:00より前に指定された OSS バケットに書き込まれることはありません。
[開始時刻の範囲]
データを転送する時間範囲です。時間範囲は、ログが受信された時間に基づきます。有効値：- すべて：Logstore が最初のログを受信したときからジョブが手動で停止されるまでデータを転送します。- 特定の時間から：指定された開始時刻からジョブが手動で停止されるまでデータを転送します。- 特定の時間範囲：指定された開始時刻から指定された終了時刻までデータを転送します。ジョブは指定された終了時刻に自動的に停止します。時間範囲は
__tag__:__receive_time__フィールドに基づきます。[タイムゾーン]
時刻値のフォーマットに使用するタイムゾーンです。タイムゾーン と ディレクトリ形式 の両方を設定した場合、OSS バケット内のサブディレクトリは設定に基づいて生成されます。
ジョブが作成された後、ジョブのステータスを確認し、転送先の OSS バケットにデータが表示されることを確認して、転送ジョブが期待どおりに機能していることを確かめます。
OSSデータの表示
データが OSS に転送された後、OSS コンソールでデータにアクセスするか、OSS API、SDK、またはその他の方法でアクセスできます。
パーティションフォーマット
各転送操作は、oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID 形式の OSS オブジェクト URL に対応します。次の表は、2022年1月20日19:50:43に作成された転送ジョブに基づいたパーティションフォーマットを示しています。
OSS-BUCKET は OSS バケットの名前です。OSS-PREFIX はディレクトリプレフィックスです。PARTITION-FORMAT はパーティションフォーマットで、転送時間から strptime API を使用して計算されます。RANDOM-ID は転送操作の一意の識別子です。
OSSバケット | OSSプレフィックス | パーティションフォーマット | オブジェクトサフィックス | OSSオブジェクトのURL |
test-bucket | test-table | %Y/%m/%d/%H/%M | .suffix | oss://test-bucket/test-table/2022/01/20/19/50_1484913043351525351_2850008.suffix |
test-bucket |
| year=%Y/mon=%m/day=%d/log_%H%M | .suffix | oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_1950_1484913043351525351_2850008.suffix |
test-bucket |
| ds=%Y%m%d/%H | .suffix | oss://test-bucket/log_ship_oss_example/ds=20220120/19_1484913043351525351_2850008.suffix |
test-bucket |
| %Y%m%d/ | .suffix | oss://test-bucket/log_ship_oss_example/20220120/_1484913043351525351_2850008.suffix > 注：このフォーマットは、Hive などのプラットフォームで解析エラーを引き起こす可能性があります。このフォーマットは使用しないことを推奨します。 |
| test-bucket | log_ship_oss_example | %Y%m%d%H | .suffix | oss://test-bucket/log_ship_oss_example/2022012019_1484913043351525351_2850008.suffix |
データはバッチで OSS に転送されます。各転送操作は、データのバッチを含む1つのオブジェクトを書き込みます。オブジェクトパスは、バッチ内の最も古い receive_time (SLS へのデータ到着時刻) によって決定されます。次のシナリオにご注意ください：
リアルタイムデータを転送する場合、たとえば5分ごとに転送する場合、2022年1月22日00:00:00に実行された転送操作は、2022年1月21日23:55以降に SLS のシャードに書き込まれたデータを転送します。2022年1月22日のすべてのデータを分析するには、OSS バケットの 2022/01/22 サブディレクトリ内のすべてのオブジェクトを確認し、あわせて 2022/01/21 サブディレクトリ内の最後のオブジェクトに2022年1月22日のデータが含まれているかどうかを確認します。
履歴データを転送する場合、Logstore 内のデータ量が少ないと、1回のプルで複数日分のデータが返されることがあります。その結果、2022/01/22 サブディレクトリ内のオブジェクトに2022年1月23日のすべてのデータが含まれ、2022/01/23 サブディレクトリにはオブジェクトが存在しない場合があります。
Hive、
MaxCompute、Alibaba Cloud Data Lake Analytics (DLA) などのビッグデータプラットフォームを使用して OSS データを分析する際に、パーティション情報を使用したい場合は、オブジェクト名で PARTITION-FORMAT を key=value 形式に設定できます。 例: oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet。 この例では、year、mon、day の 3 つのパーティション列が設定されています。