Simple Log Service:OSS 転送タスクの作成 (レガシ)

配送データ

1. Simple Log Service コンソールにログインします。

2. プロジェクト一覧で、目的のプロジェクトをクリックします。

   

3. ログ管理 > Logstores タブで、対象の Logstore の左側にある > アイコンをクリックし、データ変換 > エクスポート > Object Storage Service (OSS) を選択します。

4. Object Storage Service (OSS) にカーソルを合わせ、+ アイコンをクリックします。

5. OSS LogShipper パネルで、以下のパラメーターを設定し、OK をクリックします。

   転送バージョン を 旧バージョン に設定し、以下のパラメーターを設定します。

   パラメーター	説明
   OSS 配送名	shipping タスクの名前。
   OSS バケット	OSS バケットの名前です。 重要 バケットは SLS プロジェクトと同じリージョンに存在し、Write-Once-Read-Many (WORM) が有効になっていてはなりません。WORM の詳細については、「バケットレベルの保持ポリシー (BucketWorm)」をご参照ください。 標準ストレージ、低頻度アクセス (IA)、アーカイブ、コールドアーカイブ、ディープコールドアーカイブストレージクラスのいずれかを持つバケットにデータを転送できます。生成される OSS オブジェクトのストレージクラスは、バケットのデフォルトのストレージクラスになります。詳細については、「ストレージクラス」をご参照ください。 標準ストレージ以外のストレージクラスには、最小保存期間と課金対象サイズがあります。要件を満たすストレージクラスを送信先バケットに選択してください。詳細については、「ストレージクラスの比較」をご参照ください。
   OSS プレフィックス	OSS バケット内のディレクトリプレフィックスです。スラッシュ (/) またはバックスラッシュ (\) で開始できません。 Logstore のデータは、このディレクトリにターゲット OSS バケット内に転送されます。
   パーティション形式	タスク作成時刻に基づいてディレクトリパスを動的に生成します。スラッシュ (/) で開始できません。デフォルト： %Y/%m/%d/%H/%M。例：「パーティション形式」。パラメーターのリファレンス：「strptime API」。
   OSS 書き込み用 RAM ロール	転送タスクに OSS バケットへの書き込みアクセスを許可する RAM ロールです。 Default Role：データ転送ジョブが Alibaba Cloud システムロール AliyunLogDefaultRole を偽装して OSS バケットにデータを書き込むことを許可します。AliyunLogDefaultRole の ARN を入力します。ARN の取得方法については、「デフォルトロールを使用したデータへのアクセス」をご参照ください。 Custom Role：データ転送ジョブがカスタム RAM ロールを偽装して OSS バケットにデータを書き込むことを許可します。 まず、カスタム RAM ロールに OSS バケットへのデータ書き込み権限を付与します。次に、OSS 書き込み RAM ロール フィールドに、カスタム RAM ロールの ARN を入力します。ARN の取得方法の詳細については、以下のトピックをご参照ください。 Logstore と OSS バケットが同じ Alibaba Cloud アカウントに属する場合、「手順 2：RAM ロールに OSS バケットへのデータ書き込み権限を付与する」をご参照ください。 Logstore と OSS バケットが異なる Alibaba Cloud アカウントに属する場合、「手順 2：Alibaba Cloud アカウント B の RAM ロール role-b に OSS バケットへのデータ書き込み権限を付与する」をご参照ください。
   配送サイズ	シャードごとの最大非圧縮データサイズです。有効値：5～256 MB。 データがこのサイズに達すると、新しい転送インスタンスが作成されます。
   ストレージ形式	OSS に保存されるデータのファイル形式です。サポートされる形式：「JSON 形式」、「CSV 形式」、「Parquet 形式」。
   圧縮	OSS データの圧縮方法です。 なし：データは圧縮されません。 snappy：snappy アルゴリズムを使用してデータを圧縮し、OSS ストレージ使用量を削減します。
   配送間隔	シャードごとの転送間隔です。有効値：300～900 秒。デフォルト：300 秒。 この間隔が経過すると、新しい転送インスタンスが作成されます。

OSS 内のデータの表示

データが OSS に正常に転送された後、OSS コンソール、API、SDK、またはその他のツールを使用してアクセスできます。詳細については、「ファイル管理」をご参照ください。

oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID

パーティション形式

Hive、MaxCompute、Alibaba Cloud Data Lake Analytics (DLA) などのビッグデータプラットフォームで OSS データを分析する場合は、パーティション情報を使用できるように、パーティション形式を key=value 形式に設定してください。たとえば、パス oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet では、year、mon、day の 3 つのパーティションカラムが定義されています。

配送タスクの管理