Object Storage Service:オブジェクトのクエリ実行

仕組み

GetObject を使用する場合、アプリケーションはフィルタリング処理を行う前にオブジェクト全体をダウンロードします。一方、SelectObject ではフィルタリング処理を OSS 側に移動させます。つまり、SQL 条件式およびプロジェクション（列選択）を OSS に送信すると、OSS が該当する行のみを返却します。

クエリのフローは以下のとおりです：

1. SQL SELECT ... FROM ... WHERE ステートメントおよび出力フォーマットを指定して SelectObject リクエストを送信します。

2. OSS がオブジェクトをスキャンし、条件およびプロジェクションをサーバー側で適用します。

3. OSS が該当するレコードのみをストリーム形式でクライアントに返却します。

4. ラージオブジェクトの場合、まず CreateSelectObjectMeta を呼び出して分割数（splits）の合計値を取得した後、split-range を使用して並列クエリを実行します。

サポートされるオブジェクトタイプ

制限事項

課金

SelectObject の課金は、スキャンされるデータ量に基づきます：

• 標準オブジェクト：データスキャン料金。

• 低頻度アクセス（IA）、アーカイブ、コールドアーカイブ、およびディープコールドアーカイブストレージのオブジェクト：データスキャン料金に加え、データ取得料金も発生します。

料金の詳細については、「データ処理料金」をご参照ください。

サポートされる SQL 構文

SELECT s.a FROM ossobject s WHERE CAST(s.a AS decimal) > 123456789.12345

SELECT s.a FROM ossobject s WHERE CAST(s.a AS decimal) > 123456789.12345

SQL の使用例

{
  "contacts": [
    {
      "firstName": "John",
      "lastName": "Smith",
      "age": 27,
      "address": {
        "streetAddress": "21 2nd Street",
        "city": "New York",
        "state": "NY",
        "postalCode": "10021-3100"
      },
      "phoneNumbers": [
        { "type": "home", "number": "212 555-1234" },
        { "type": "office", "number": "646 555-4567" },
        { "type": "mobile", "number": "123 456-7890" }
      ],
      "children": [],
      "spouse": null
    }
  ]
}

OSS コンソールを使用したオブジェクトのクエリ実行

1. OSS コンソールにログインします。

2. 左側のナビゲーションウィンドウで、バケット をクリックします。対象のバケットを検索してクリックします。

3. 左側のナビゲーションツリーで、オブジェクト管理 > オブジェクト を選択します。

4. 対象オブジェクトの 操作 列で、 > コンテンツの選択 を選択します。

5. コンテンツの選択 パネルで、以下のパラメーターを設定します：

   パラメーター	説明
   オブジェクトタイプ	CSV または JSON
   デリミタ	CSV のみ対応。, またはカスタム
   タイトル行	CSV のみ対応。1 行目が列ヘッダーを含むかどうか
   JSON 表示モード	JSON のみ対応。JSON_LINES または JSON_DOCUMENT
   圧縮フォーマット	GZIP のみ対応

6. プレビュー をクリックして、選択したデータをプレビューします。

   重要

   標準ストレージオブジェクトのプレビューにはデータスキャン料金が発生します。低頻度アクセス（IA）、アーカイブ、コールドアーカイブ、およびディープコールドアーカイブストレージのオブジェクトのプレビューには、データスキャン料金に加えてデータ取得料金も発生します。詳細については、「データ処理料金」をご参照ください。

7. 次へ をクリックし、SQL ステートメントを入力して実行します。例：CSV オブジェクト People には、Name、Company、Age の 3 つの列があり、それぞれの列インデックスは _1（Name）、_2（Company）、_3（Age）です。

   • 名前が「Lora」で始まり、年齢が 50 を超える人物をクエリする：

     SELECT * FROM ossobject WHERE _1 LIKE 'Lora*' AND _3 > 50

   • 行数、最大年齢、最小年齢を取得する：

     SELECT COUNT(*), MAX(CAST(_3 AS int)), MIN(CAST(_3 AS int)) FROM oss_object

8. 結果を表示します。ダウンロード をクリックして、出力をローカルマシンに保存します。

OSS SDK を使用したオブジェクトのクエリ実行

SelectObject は、OSS SDK for Java および OSS SDK for Python のみでサポートされています。

import com.aliyun.oss.model.*;
import com.aliyun.oss.OSS;
import com.aliyun.oss.common.auth.*;
import com.aliyun.oss.OSSClientBuilder;
import java.io.BufferedReader;
import java.io.ByteArrayInputStream;
import java.io.InputStreamReader;

public class SelectObjectSample {
    // バケットのリージョンに対応するエンドポイントに置き換えます。
    // 例： https://oss-cn-hangzhou.aliyuncs.com
    private static String endpoint = "https://oss-cn-hangzhou.aliyuncs.com";
    private static String bucketName = "examplebucket";

    public static void main(String[] args) throws Exception {
        // 環境変数 OSS_ACCESS_KEY_ID および OSS_ACCESS_KEY_SECRET から認証情報を読み込みます。
        EnvironmentVariableCredentialsProvider credentialsProvider =
            CredentialsProviderFactory.newEnvironmentVariableCredentialsProvider();
        String region = "cn-hangzhou";

        ClientBuilderConfiguration clientBuilderConfiguration = new ClientBuilderConfiguration();
        clientBuilderConfiguration.setSignatureVersion(SignVersion.V4);
        OSS ossClient = OSSClientBuilder.create()
            .endpoint(endpoint)
            .credentialsProvider(credentialsProvider)
            .clientConfiguration(clientBuilderConfiguration)
            .region(region)
            .build();

        // CSV オブジェクトをクエリします。
        selectCsvSample("test.csv", ossClient);
        // JSON LINES オブジェクトをクエリします。
        selectJsonSample("test.json", ossClient);

        ossClient.shutdown();
    }

    private static void selectCsvSample(String key, OSS ossClient) throws Exception {
        // ヘッダー行を含むサンプル CSV データをアップロードします。
        String content = "name,school,company,age\r\n" +
                "Lora Francis,School A,Staples Inc,27\r\n" +
                "Eleanor Little,School B,\"Conectiv, Inc\",43\r\n" +
                "Rosie Hughes,School C,Western Gas Resources Inc,44\r\n" +
                "Lawrence Ross,School D,MetLife Inc.,24";
        ossClient.putObject(bucketName, key, new ByteArrayInputStream(content.getBytes()));

        // オブジェクトの分割メタデータを生成します（マルチパートクエリの前に推奨）。
        SelectObjectMetadata selectObjectMetadata = ossClient.createSelectObjectMetadata(
            new CreateSelectObjectMetadataRequest(bucketName, key)
                .withInputSerialization(
                    new InputSerialization().withCsvInputFormat(
                        new CSVFormat()
                            .withHeaderInfo(CSVFormat.Header.Use)
                            .withRecordDelimiter("\r\n"))));
        System.out.println("Total lines: " + selectObjectMetadata.getCsvObjectMetadata().getTotalLines());
        System.out.println("Total splits: " + selectObjectMetadata.getCsvObjectMetadata().getSplits());

        // 4 列目（年齢）が 40 より大きい行をクエリします。
        SelectObjectRequest selectObjectRequest =
            new SelectObjectRequest(bucketName, key)
                .withInputSerialization(
                    new InputSerialization().withCsvInputFormat(
                        new CSVFormat()
                            .withHeaderInfo(CSVFormat.Header.Use)
                            .withRecordDelimiter("\r\n")))
                .withOutputSerialization(new OutputSerialization().withCsvOutputFormat(new CSVFormat()));
        selectObjectRequest.setExpression("SELECT * FROM ossobject WHERE _4 > 40");

        OSSObject ossObject = ossClient.selectObject(selectObjectRequest);
        BufferedReader reader = new BufferedReader(new InputStreamReader(ossObject.getObjectContent()));
        String line;
        while ((line = reader.readLine()) != null) {
            System.out.println(line);
        }
        reader.close();
        ossClient.deleteObject(bucketName, key);
    }

    private static void selectJsonSample(String key, OSS ossClient) throws Exception {
        // サンプル JSON LINES データ（1 行につき 1 つの JSON オブジェクト）をアップロードします。
        final String content = "{\"name\":\"Lora Francis\",\"age\":27,\"company\":\"Staples Inc\"}\n" +
                "{\"name\":\"Eleanor Little\",\"age\":43,\"company\":\"Conectiv, Inc\"}\n" +
                "{\"name\":\"Rosie Hughes\",\"age\":44,\"company\":\"Western Gas Resources Inc\"}\n" +
                "{\"name\":\"Lawrence Ross\",\"age\":24,\"company\":\"MetLife Inc.\"}";
        ossClient.putObject(bucketName, key, new ByteArrayInputStream(content.getBytes()));

        // 年齢が 40 より大きいレコードをクエリします。
        SelectObjectRequest selectObjectRequest =
            new SelectObjectRequest(bucketName, key)
                .withInputSerialization(new InputSerialization()
                    .withCompressionType(CompressionType.NONE)
                    .withJsonInputFormat(new JsonFormat().withJsonType(JsonType.LINES)))
                .withOutputSerialization(new OutputSerialization()
                    .withCrcEnabled(true)
                    .withJsonOutputFormat(new JsonFormat()))
                .withExpression("SELECT * FROM ossobject AS s WHERE s.age > 40");

        OSSObject ossObject = ossClient.selectObject(selectObjectRequest);
        BufferedReader reader = new BufferedReader(new InputStreamReader(ossObject.getObjectContent()));
        String line;
        while ((line = reader.readLine()) != null) {
            System.out.println(line);
        }
        reader.close();
        ossClient.deleteObject(bucketName, key);
    }
}

import oss2
from oss2.credentials import EnvironmentVariableCredentialsProvider

def select_callback(consumed_bytes, total_bytes=None):
    print(f"Consumed bytes: {consumed_bytes}")

# 環境変数から認証情報を読み込みます。
auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())

endpoint = "https://oss-cn-hangzhou.aliyuncs.com"  # バケットのエンドポイントに置き換えます。
region = "cn-hangzhou"                              # バケットのリージョンに置き換えます。
bucket = oss2.Bucket(auth, endpoint, "examplebucket", region=region)

# --- CSV クエリ ---

key = "python_select.csv"
content = "Tom Hanks,USA,45\r\n" * 1024
bucket.put_object(key, content)

# 分割メタデータを生成します。
csv_meta_params = {"RecordDelimiter": "\r\n"}
csv_header = bucket.create_select_object_meta(key, csv_meta_params)
print(f"Total rows: {csv_header.rows}, total splits: {csv_header.splits}")

# 列 3 の値が 44 より大きい行をクエリします。
select_csv_params = {
    "CsvHeaderInfo": "None",
    "RecordDelimiter": "\r\n",
    "LineRange": (500, 1000),
}
result = bucket.select_object(
    key, "SELECT * FROM ossobject WHERE _3 > 44", select_callback, select_csv_params
)
print(result.read())

# 結果をローカルファイルに保存します。
bucket.select_object_to_file(
    key, "python_select.csv", "SELECT * FROM ossobject WHERE _3 > 44",
    select_callback, select_csv_params
)
bucket.delete_object(key)

# --- JSON DOCUMENT クエリ ---

key = "python_select.json"
content = '{"contacts":[{"key1":1,"key2":"hello world1"},{"key1":2,"key2":"hello world2"}]}'
bucket.put_object(key, content)

select_json_params = {"Json_Type": "DOCUMENT"}
result = bucket.select_object(
    key,
    "SELECT s.key2 FROM ossobject.contacts[*] s WHERE s.key1 = 1",
    None,
    select_json_params,
)
print(result.read())
bucket.delete_object(key)

# --- JSON LINES クエリ ---

key = "python_select_lines.json"
content = '{"key1":1,"key2":"hello world1"}\n{"key1":2,"key2":"hello world2"}'
bucket.put_object(key, content)

select_json_params = {"Json_Type": "LINES"}
json_header = bucket.create_select_object_meta(key, select_json_params)
print(f"Total rows: {json_header.rows}, total splits: {json_header.splits}")

result = bucket.select_object(
    key, "SELECT s.key2 FROM ossobject s WHERE s.key1 = 1", None, select_json_params
)
print(result.read())
bucket.delete_object(key)

OSS API を使用したオブジェクトのクエリ実行

RESTful API を直接使用して SelectObject を呼び出す場合、署名計算をコードに組み込む必要があります。詳細については、「SelectObject」をご参照ください。

ラージオブジェクトに対する並列クエリの実行

ラージオブジェクトに対しては、split-range を使用して、複数の同時実行リクエストにクエリを分割します。

分割（split）とバイト範囲（byte range）の使い分け：

分割単位の並列クエリの手順：

1. 分割数の合計値を取得するために CreateSelectObjectMeta を呼び出します。最初のクエリ実行前に非同期で呼び出すことで、余分なスキャンオーバーヘッドを回避できます。

2. 利用可能なクライアントリソースに基づいて、同時実行数 n を決定します。

3. 分割数の合計値を n で割って、1 回のリクエストあたりの分割数を算出します。

4. n 個の同時実行 SelectObject リクエストを送信します。各リクエストには split-range パラメーターを指定します。例：split-range=1-20。

5. 結果を順序通りに結合します。

次のステップ

• SelectObject API リファレンス

• データ処理料金