Simple Log Service:Simple Log Service から OSS にログデータを転送する

ログデータを転送する

1. Simple Log Service コンソール にログインします。

2. [プロジェクト] セクションで、管理するプロジェクトをクリックします。

   

3. [ログストレージ] > [ログストア] タブで、ログストアを見つけ、[>] をクリックし、[データ処理] > [エクスポート] > [Object Storage Service (OSS)] を選択します。

4. ポインタを [Object Storage Service (OSS)] に移動し、[+] アイコンをクリックします。

5. [OSS LogShipper] パネルで、パラメータを構成し、[OK] をクリックします。

   [転送バージョン] を [旧バージョン] に設定し、以下の説明に基づいて他のパラメータを構成します。

   パラメータ	説明
   OSS Shipper 名	転送ルールの名前。
   OSS バケット	ログデータを転送する OSS バケットの名前。 重要 Write Once Read Many (WORM) 機能が無効になっている既存の OSS バケットにのみデータを転送できます。バケットは Simple Log Service プロジェクトと同じリージョンに存在する必要があります。WORM 機能の詳細については、「保存ポリシー」をご参照ください。 標準、低頻度アクセス (IA)、アーカイブ、コールドアーカイブ、またはディープコールドアーカイブストレージタイプの OSS バケットにデータを転送できます。デフォルトでは、転送されたデータを格納する生成された OSS オブジェクトのストレージタイプは、指定された OSS バケットのストレージタイプと同じです。詳細については、「ストレージタイプの概要」をご参照ください。 標準ストレージタイプではない OSS バケットには、最小保存期間と最小請求サイズという制限が適用されます。OSS バケットを作成するときは、ビジネス要件に基づいてストレージタイプを指定することをお勧めします。詳細については、「ストレージタイプ間の違い」をご参照ください。
   ファイル配信ディレクトリ	OSS バケット内のログデータを転送するディレクトリ。値はスラッシュ (/) またはバックスラッシュ (\) で始めることはできません。 OSS 転送タスクが作成されると、ログストア内のデータはこのディレクトリに転送されます。
   シャード形式	OSS バケットにサブディレクトリを生成するために使用されるパーティション形式。サブディレクトリは、転送タスクが作成された時刻に基づいて動的に生成されます。デフォルトのパーティション形式は %Y/%m/%d/%H/%M です。パーティション形式はスラッシュ (/) で始めることはできません。パーティション形式の例の詳細については、「シャード形式」をご参照ください。パーティション形式のパラメータの詳細については、「strptime」をご参照ください。
   OSS 書き込み RAM ロール	OSS 転送タスクに OSS バケットへのデータ書き込みを承認するために使用されるメソッド。 [デフォルトロール]: OSS データ転送ジョブが AliyunLogDefaultRole システムロールを担って OSS バケットにデータを書き込むことを指定します。このオプションを選択すると、AliyunLogDefaultRole システムロールの Alibaba Cloud リソースネーム (ARN) が自動的に指定されます。ARN の取得方法の詳細については、「デフォルトロールを使用してデータにアクセスする」をご参照ください。 [カスタムロール]: OSS データ転送ジョブがカスタムロールを担って OSS バケットにデータを書き込むことを指定します。 このオプションを選択した場合は、カスタムロールに OSS バケットにデータを書き込む権限を付与する必要があります。次に、[OSS 書き込み RAM ロール] フィールドにカスタムロールの ARN を入力します。ARN の取得方法については、ビジネスシナリオに基づいて、次のいずれかのトピックを参照してください。 ログストアと OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、「手順 2: RAM ロールに OSS バケットにデータを書き込む権限を付与する」に記載されている手順に従って ARN を取得します。 ログストアと OSS バケットが異なる Alibaba Cloud アカウントに属している場合は、「手順 2: ロール b RAM ロールに OSS バケットにデータを書き込む権限を付与する」に記載されている手順に従って ARN を取得します。
   転送サイズ	シャード内のログデータのサイズ。このサイズに達すると、ログデータは OSS に転送されます。このパラメータの値は、OSS に転送され、オブジェクトに保存される生のログデータのサイズを決定します。有効な値: 5 ～ 256。単位: MB。 転送するログデータのサイズが指定された値に達すると、転送タスクが自動的に作成されます。
   ストレージ形式	ログデータのストレージ形式。ログデータが OSS に転送されると、ログデータはさまざまな形式で保存できます。詳細については、「JSON 形式」、「CSV 形式」、および「Parquet 形式」をご参照ください。
   圧縮	OSS に転送されるログデータを圧縮するかどうかを指定します。有効な値: 圧縮なし: ログデータは圧縮されません。 圧縮 (snappy): snappy アルゴリズムを使用してログデータを圧縮します。これにより、OSS バケットでのストレージ容量が少なくなります。詳細については、「snappy」をご参照ください。
   転送時間	シャードのログデータを転送する 2 つの転送タスクの間隔。有効な値: 300 ～ 900。デフォルト値: 300。単位: 秒。 間隔に達すると、転送タスクが作成されます。

OSS データを表示する

データが OSS に転送された後、OSS コンソールでデータを表示できます。OSS API や OSS SDK などの他の方法を使用してデータを表示することもできます。詳細については、「オブジェクトを管理する」をご参照ください。

oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID

シャード形式

Hive、MaxCompute、Data Lake Analytics (DLA) などのビッグデータプラットフォームを使用して OSS データを分析できます。パーティション形式情報を使用する場合は、OSS オブジェクトの URL で PARTITION-FORMAT を key=value 形式で設定できます。OSS オブジェクトの URL の例: oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet。この例では、年、月、日がパーティションキー列として指定されています。

次のステップ