Tablestore:オフラインデータのバルクエクスポート

前提条件

Tablestore SDK for Java をインストールし、クライアントを初期化します。

機能の説明

public BulkExportResponse bulkExport(BulkExportRequest bulkExportRequest) throws TableStoreException, ClientException

プライマリキー範囲に基づいて、データテーブルから連続した行をスキャンします。レスポンスには、開始キー以上かつ終了キー未満のプライマリキーを持つ行が含まれます。BulkExportQueryCriteria (com.alicloud.openservices.tablestore.model.tunnel サブパッケージ) を使用して、開始および終了のプライマリキー、返すカラム、フィルター、データブロックのエンコードタイプを設定します。レスポンスは行データを ByteBuffer でエンコードされたバイト列として返します。対応するパーサーでデコードして行リストに変換します。DBT_PLAIN_BUFFER には PlainBufferBlockParser を、DBT_SIMPLE_ROW_MATRIX には SimpleRowMatrixBlockParser を使用します。getNextStartPrimaryKey() が null でない場合は、まだ行が残っています。そのキーからスキャンを継続します。

次の例では、bulk_export_demo テーブルから、プライマリキー範囲 [row00, row99) で 1 回の呼び出しで読み取ります。DBT_PLAIN_BUFFER エンコーディングを使用し、対応するパーサーで結果をデコードします。

String tableName = "bulk_export_demo";

// 開始プライマリキー (含む)
PrimaryKey startPk = PrimaryKeyBuilder.createPrimaryKeyBuilder()
        .addPrimaryKeyColumn("pk", PrimaryKeyValue.fromString("row00"))
        .build();
// 終了プライマリキー (含まない)
PrimaryKey endPk = PrimaryKeyBuilder.createPrimaryKeyBuilder()
        .addPrimaryKeyColumn("pk", PrimaryKeyValue.fromString("row99"))
        .build();

// BulkExportQueryCriteria は model.tunnel サブパッケージにあります
BulkExportQueryCriteria criteria = new BulkExportQueryCriteria(tableName);
criteria.setInclusiveStartPrimaryKey(startPk);
criteria.setExclusiveEndPrimaryKey(endPk);
criteria.setDataBlockType(DataBlockType.DBT_PLAIN_BUFFER);
criteria.addColumnsToGet("pk");
criteria.addColumnsToGet("col1");

BulkExportRequest request = new BulkExportRequest(criteria);
BulkExportResponse response = client.bulkExport(request);

// response.getRows() は ByteBuffer を返します。対応するパーサーを使用して List にパースします
// DBT_PLAIN_BUFFER       -> PlainBufferBlockParser
// DBT_SIMPLE_ROW_MATRIX  -> SimpleRowMatrixBlockParser
PlainBufferBlockParser parser = new PlainBufferBlockParser(response.getRows());
List<Row> rows = parser.getRows();
System.out.println("Rows returned: " + rows.size());
for (Row row : rows) {
    System.out.println(row);
}

// nextStartPrimaryKey が null でない場合は、まだデータが残っているためページネーションを継続する必要があります
System.out.println("Has next: " + (response.getNextStartPrimaryKey() != null));

主要パラメータ：

• tableName (必須)：データテーブルの名前です。

• inclusiveStartPrimaryKey / exclusiveEndPrimaryKey (必須)：スキャン範囲の開始および終了のプライマリキーです。左閉右開です。

• dataBlockType (任意)：レスポンスのデータブロックのエンコーディングです。結果のデコードに使用するパーサーと一致させる必要があります。

• columnsToGet / filter (任意)：返すカラムとサーバー側フィルター条件です。

パラメータ

シナリオ例

String tableName = "bulk_export_demo";

PrimaryKey startPk = PrimaryKeyBuilder.createPrimaryKeyBuilder()
        .addPrimaryKeyColumn("pk", PrimaryKeyValue.fromString("row00"))
        .build();
PrimaryKey endPk = PrimaryKeyBuilder.createPrimaryKeyBuilder()
        .addPrimaryKeyColumn("pk", PrimaryKeyValue.fromString("row99"))
        .build();

int totalRows = 0;
while (startPk != null) {
    BulkExportQueryCriteria criteria = new BulkExportQueryCriteria(tableName);
    criteria.setInclusiveStartPrimaryKey(startPk);
    criteria.setExclusiveEndPrimaryKey(endPk);
    criteria.setDataBlockType(DataBlockType.DBT_PLAIN_BUFFER);

    BulkExportResponse response = client.bulkExport(new BulkExportRequest(criteria));

    PlainBufferBlockParser parser = new PlainBufferBlockParser(response.getRows());
    List<Row> rows = parser.getRows();
    totalRows += rows.size();

    // nextStartPrimaryKey が null の場合、すべてのデータを読み取り済みです
    startPk = response.getNextStartPrimaryKey();
}
System.out.println("Total rows scanned: " + totalRows);

関連トピック

• オフラインデータのバルクインポート

• 行範囲の読み取り