Tablestore:コンソールを使用した OSS へのデータ配信

前提条件

OSS サービスをアクティブ化し、Tablestore インスタンスと同じリージョンにバケットを作成します。詳細については、「OSS のアクティブ化」をご参照ください。

注意事項

• データ配信サービスは、中国（杭州）、中国（上海）、中国（北京）、中国（張家口）、中国（深圳）の各リージョンでご利用いただけます。

• データ配信では、削除操作は無視されます。Tablestore で削除したデータは、配信先の OSS バケットからは削除されません。

• 新しい配信タスクの初期化には、最大 1 分かかる場合があります。

• 安定した書き込み速度の場合、同期レイテンシーは通常 3 分以内です。P99 レイテンシーは 10 分以内です。

  説明

  P99 レイテンシーとは、レイテンシーの 99 パーセンタイル値のことで、リクエストの 99% がこの値以下のレイテンシーで完了することを意味します。

配信タスクの作成

1. インスタンスの管理 ページに移動します。

   1. Tablestore コンソールにログインします。

   2. 上部のナビゲーションバーで、リソースグループとリージョンを選択します。インスタンスの名前をクリックするか、[操作] 列で インスタンスの管理 をクリックします。

2. インスタンスの管理 ページで、OSS へのデータ配信 をクリックします。

3. (オプション) サービスリンクロール AliyunServiceRoleForOTSDataDelivery を作成します。

   データ配信を初めて設定する際は、Tablestore サービスリンクロール AliyunServiceRoleForOTSDataDelivery を作成する必要があります。このロールは、Tablestore に OSS バケットへのデータ書き込み権限を付与します。詳細については、「Tablestore サービスリンクロール」をご参照ください。

   説明

   サービスリンクロールの詳細については、「サービスリンクロール」をご参照ください。

   1. OSS へのデータ配信 ページで、[配信サービスのロール] をクリックします。

   2. ロールの詳細 ダイアログボックスで情報を確認し、OK をクリックします。

4. 配信タスクを作成します。

   1. OSS へのデータ配信 ページで、タスクの作成 をクリックします。

   2. タスクの作成 ダイアログボックスで、パラメーターを設定します。

      パラメータ	説明
      [タスク名]	配信タスクの名前です。 名前は 3～16 文字の長さで、小文字 (a-z)、数字、ハイフン (-) のみを含めることができます。先頭と末尾は小文字または数字である必要があります。
      [書き込み先リージョン]	Tablestore インスタンスと OSS バケットが存在するリージョンです。
      [書き込み先テーブル]	ソースとなる Tablestore テーブルの名前です。
      [書き込み先バケット]	OSS バケットの名前です。 重要 OSS バケットは事前に作成済みであり、かつ Tablestore インスタンスと同じリージョンに存在する必要があります。
      [書き込み先プレフィックス]	配信される Tablestore データの、OSS バケット内におけるディレクトリプレフィックスです。宛先プレフィックスでは、$yyyy、$MM、$dd、$HH、$mm の 5 つの時間変数を使用できます。詳細については、「時間パーティショニング」をご参照ください。 宛先プレフィックスに時間変数を含めると、データの書き込み時刻に基づいて OSS ディレクトリが動的に生成されます。これにより、Hive パーティション命名と同様のスタイルで、時間によってデータがパーティション分割されます。 宛先プレフィックスに時間変数を含めない場合、すべてのファイルは指定された静的ディレクトリプレフィックスに配信されます。
      [同期モード]	配信タスクのタイプです。有効な値： [増分]: 増分データのみを同期します。 [完全]: テーブル全体のデータ同期を 1 回実行します。 [差分]：フルデータ同期が完了すると、タスクは増分データを同期します。 増分データ同期の場合、最新の配信時刻と現在の配信ステータスを確認できます。
      [書き込み先のオブジェクト形式]	配信されたデータは、Parquet 列指向フォーマットで保存されます。デフォルトでは、データ配信は PLAIN エンコーディングを使用し、あらゆるタイプのデータに対応しています。
      [スキーマ生成タイプ]	配信先ファイルに書き込むソースフィールドを選択し、その順序を指定し、新しい名前を割り当てることができます。スキーマ設定内の列の順序によって、OSS 内の最終的なデータレイアウトが決まります。 選択したスキーマ生成タイプに基づいて、配信スキーマを設定します。 スキーマ生成タイプ を 手動 に設定した場合、各配信フィールドのソースフィールド、宛先フィールド名、および宛先フィールドタイプを手動で設定する必要があります。 スキーマ生成タイプ を 自動生成 に設定すると、システムが自動的に配信フィールドを識別し、一致させます。 重要 配信フィールドのデータ型は、対応するソースフィールドのデータ型と一致する必要があります。一致しない場合、そのフィールドはダーティデータとして破棄されます。データ型マッピングの詳細については、「データ型マッピング」をご参照ください。 配信スキーマを設定する際、次の操作を実行できます。 フィールドの追加 をクリックして、新しい配信フィールドを追加します。 [操作] 列で、 上矢印または 下矢印アイコンをクリックして、配信フィールドの順序を調整します。 [操作] 列で、 削除アイコンをクリックして、配信フィールドを削除します。
      [スキーマ設定]

5. OK をクリックします。

   ステートメントの表示 ダイアログボックスでは、EMR 外部テーブル用に自動生成されたテーブル作成ステートメントを表示できます。このステートメントをコピーして、EMR で外部テーブルをすばやく作成し、OSS のデータにアクセスできます。

   配信タスクを作成した後、次の操作を実行できます。

   • タスク名、テーブル名、配信先バケット、宛先プレフィックス、最新同期時刻、ステータスなどの配信詳細を表示できます。

   • テーブル作成ステートメントを表示またはコピーできます。

     [操作] 列で ステートメントの表示 をクリックすると、EMR などのコンピューティングエンジンで外部テーブルを作成するためのテーブル作成ステートメントを表示またはコピーできます。詳細については、「EMR の使用」をご参照ください。

   • 配信エラーメッセージを表示できます。

     OSS バケットまたは配信権限が正しく設定されていない場合、データ配信は失敗します。この場合、タスクステータスページで関連するエラーメッセージを確認できます。エラー処理の詳細については、「エラー処理」をご参照ください。

   • 配信タスクを削除できます。

     操作列で、削除 をクリックして配信タスクを削除します。 初期化段階にあるタスクを削除しようとすると、エラーが返されます。 この場合、後でもう一度お試しください。

OSS 内のデータの表示

配信タスクが初期化され、データが配信された後、OSS コンソール、API または SDK、または EMR などのコンピューティングエンジンを使用して、OSS 内のデータを表示できます。詳細については、「ファイルの概要」をご参照ください。

OSS オブジェクトのアドレス形式は次のとおりです。

oss://BucketName/TaskPrefix/TaskName_ConcurrentID_TaskPrefix__SequenceID

この形式の各要素は次のとおりです。BucketName はバケット名です。TaskPrefix はディレクトリプレフィックスで、ファイル名にも含まれます。TaskName は配信タスク名です。ConcurrentID は 0 から始まる内部並行処理 ID です。配信システムは、スループットの増加に応じて自動的に並行処理を増やします。SequenceID は 1 から始まるファイルシーケンス番号です。

時間パーティショニング

データ配信は、データが Tablestore に書き込まれた時刻を抽出できます。次の変数を使用して、データの書き込み時刻を OSS バケットのディレクトリプレフィックスに変換できます。$yyyy (4 桁の年)、$MM (2 桁の月)、$dd (2 桁の日)、$HH (2 桁の時)、$mm (2 桁の分)。

たとえば、2020 年 8 月 31 日 16:03 に Tablestore に書き込まれたデータを考えてみます。次の表は、異なる宛先プレフィックス設定に対する OSS 内の結果オブジェクトパスを示しています。

データ型マッピング

エラー処理

配信タスクを作成した後に OSS にデータが配信されない理由の詳細については、「タスク作成後に OSS にデータが配信されない」をご参照ください。