DataWorks を使用した OSS への Tablestore データのバックアップ - Tablestore

仕組み

DataWorks の Data Integration のオフライン同期機能は、データソースからデータを読み取る Reader プラグインと、宛先にデータを書き込む Writer プラグインによって、さまざまなデータソースと宛先間の同期を抽象化します。データソースと宛先を定義し、DataWorks のスケジューリングパラメータと組み合わせることで、データソースから宛先へ完全データまたは増分データを同期できます。

Tablestore データを OSS へ同期する場合、オフライン同期タスクに Tablestore 関連の Reader プラグインと OSS 関連の Writer プラグインを設定する必要があります。以下に、各プラグインの使用上の注意について説明します。

Tablestore 関連の Reader プラグイン

必要な Tablestore 関連の Reader プラグインは、使用するデータ同期モードによって異なります。次の表に、データ同期モードと Tablestore 関連の Reader プラグインのマッピングを示します。

同期モード	Tablestore 関連の Reader プラグイン	プラグインの説明
フルエクスポート	Tablestore Reader	このプラグインは、Tablestore テーブルからデータを読み取るために使用します。抽出したいデータの範囲を指定して、増分抽出を実行できます。詳細については、「Tablestore データソース」をご参照ください。
増分同期	OTSStream Reader	このプラグインは、Tablestore テーブルのデータを増分モードでエクスポートするために使用します。詳細については、「Tablestore Stream」をご参照ください。

OSS 関連の Writer プラグイン

DataWorks は、フルエクスポートモードと増分同期モードのどちらを使用する場合でも、OSS 関連の Writer プラグインを使用して OSS にデータを書き込みます。詳細については、「OSS」をご参照ください。

同期モード

オフライン同期タスクでデータフィルターを設定し、スケジューリングパラメータを使用することで、完全データを同期するか増分データを同期するかを決定できます。次の表に、各同期モードについて説明します。

同期モード

説明

フルエクスポート

このモードでは、Tablestore の完全データを一度に OSS にエクスポートします。

このモードを使用する場合、オフライン同期タスクを一度実行するだけで済みます。オフライン同期タスクにスケジューリングパラメータを設定する必要はありません。

増分同期

このモードでは、Tablestore 内の新規および変更されたデータを定期的に OSS に同期します。

このモードを使用する場合、オフライン同期タスクにスケジューリングパラメータを設定する必要があります。これにより、増分データを定期的に同期できます。

シナリオ

より低コストで Tablestore データをバックアップする必要がある、または Tablestore データをファイルとしてローカルデバイスにエクスポートしたい、というニーズがあります。

操作手順

手順は、使用する同期モードによって異なります。お使いの同期モードに応じた手順に従ってください。詳細については、「OSS への完全データのエクスポート」および「OSS への増分データの同期」をご参照ください。

フルエクスポートの手順

次の表に、フルエクスポートモードの主要なステップを示します。

ステップ	操作	説明
1	データソースの追加	このステップでは、データを同期する元のテーブルのインスタンス情報を指定します。データソースは Tablestore です。
2	宛先の追加	このステップでは、データを同期する先の OSS バケットの情報を指定します。宛先は OSS です。
3	オフラインタスクノードの作成	オフライン同期操作にはオフラインタスクノードが必要です。同期操作ごとにオフラインタスクノードを作成する必要があります。
4	オフライン同期タスクの設定と開始	DataWorks の Data Integration には、オフライン同期タスクを設定するためのウィザードモードとスクリプトモードが用意されています。ビジネス要件に基づいてモードを選択してください。ウィザードモード：グラフィカルユーザーインターフェイス (GUI) でデータ同期タスクを設定できます。このモードは使いやすいですが、提供される機能は限定的です。スクリプトモード：データ同期用の JSON スクリプトを記述して、データ同期開発を完了できます。このモードは上級ユーザー向けであり、習得に時間がかかります。このモードは高度な機能をサポートしており、柔軟かつ詳細な設定が可能です。
5	移行結果の検証	データのエクスポート後、OSS コンソールでインポートされたデータを確認できます。

増分同期の手順

次の表に、増分同期モードの主要なステップを示します。

ステップ	操作	説明
1	データソースの追加	このステップでは、データを同期する元のテーブルのインスタンス情報を指定します。データソースは Tablestore です。既存の Tablestore データソースがビジネス要件を満たしている場合は、このステップをスキップしてください。
2	宛先の追加	このステップでは、データを同期する先の OSS バケットの情報を指定します。宛先は OSS です。既存の OSS データソースがビジネス要件を満たしている場合は、このステップをスキップしてください。
3	オフラインタスクノードの作成	オフライン同期操作にはオフラインタスクノードが必要です。同期操作ごとにオフラインタスクノードを作成する必要があります。
4	オフライン同期タスクの設定と開始	DataWorks の Data Integration には、オフライン同期タスクを設定するためのウィザードモードとスクリプトモードが用意されています。ビジネス要件に基づいてモードを選択してください。ウィザードモード：グラフィカルユーザーインターフェイス (GUI) でデータ同期タスクを設定できます。このモードは使いやすいですが、提供される機能は限定的です。スクリプトモード：データ同期用の JSON スクリプトを記述して、データ同期開発を完了できます。このモードは上級ユーザー向けであり、習得に時間がかかります。このモードは高度な機能をサポートしており、柔軟かつ詳細な設定が可能です。
5	スケジューリングパラメータの設定	このステップでは、同期タスクの実行時間、再実行プロパティ、およびスケジューリング依存関係を設定して、同期タスクが定期的に実行されるようにします。
6	コードのデバッグとタスクの送信	デバッグが完了したら、オフライン同期タスクをサーバーに送信して、スケジューリングプロパティに基づいてタスクが定期的に実行されるようにします。
7	タスク実行結果の表示	DataWorks コンソールでタスクの実行ステータスを確認し、OSS コンソールでデータ同期の結果を確認できます。

課金ルール

Tablestore から OSS にデータを同期する際、Tablestore データの読み取りに対して、消費されたキャパシティーユニット (CU) の数に基づいて Tablestore から課金されます。従量課金の読み取り CU と予約済みの読み取り CU は個別に課金されます。従量課金の読み取り CU と予約済みの読み取り CU のどちらが消費されるかは、アクセスするインスタンスタイプによって異なります。詳細については、「課金の概要」をご参照ください。

説明
インスタンスタイプと CU の詳細については、「基本的な概念」をご参照ください。
データが OSS に同期された後、データファイルのストレージ使用量と期間に基づいて OSS から課金されます。OSS からローカルデバイスにオブジェクトをダウンロードする場合、GET API リクエストの数とインターネット経由のアウトバウンドトラフィック量に対して OSS から課金されます。詳細については、「OSS の課金の概要」をご参照ください。