Object Storage Service:OSS のデータを活用した、逐次ストリーミング読み取りに適した反復可能データセットの構築

URI プレフィックスを用いたデータセットの構築

すべてのトレーニング用オブジェクトが OSS 内で共通のパスプレフィックスを共有している場合は、from_prefix を使用します。

from osstorchconnector import OssIterableDataset

ENDPOINT = "http://oss-cn-beijing-internal.aliyuncs.com"
CONFIG_PATH = "/etc/oss-connector/config.json"
CRED_PATH = "/root/.alibabacloud/credentials"
OSS_URI = "oss://ai-testset/EnglistImg/Img/BadImag/Bmp/Sample001/"

# URI プレフィックスからデータセットを構築します。プレフィックス配下のすべてのオブジェクトが含まれます。
iterable_dataset = OssIterableDataset.from_prefix(
    OSS_URI,
    endpoint=ENDPOINT,
    cred_path=CRED_PATH,
    config_path=CONFIG_PATH
)

# データセットを反復処理します。各アイテムは、key、size、read() メソッドを持つ DataObject です。
for item in iterable_dataset:
    print(item.key)    # オブジェクトキー（バケット内のパス）
    print(item.size)   # オブジェクトサイズ（バイト単位）
    content = item.read()
    print(len(content))

URI 一覧からのデータセットの構築

特定のオブジェクト URI の一覧（異なるパスに散在していても可）が既知の場合は、from_objects を使用します。

from osstorchconnector import OssIterableDataset

ENDPOINT = "http://oss-cn-beijing-internal.aliyuncs.com"
CONFIG_PATH = "/etc/oss-connector/config.json"
CRED_PATH = "/root/.alibabacloud/credentials"

# uris は、1 つ以上の OSS URI を含む文字列イテレーターです。
uris = [
    "oss://ai-testset/EnglistImg/Img/BadImag/Bmp/Sample001/img001-00001.png",
    "oss://ai-testset/EnglistImg/Img/BadImag/Bmp/Sample001/img001-00002.png",
    "oss://ai-testset/EnglistImg/Img/BadImag/Bmp/Sample001/img001-00003.png"
]

# URI 一覧からデータセットを構築します。
iterable_dataset = OssIterableDataset.from_objects(
    uris,
    endpoint=ENDPOINT,
    cred_path=CRED_PATH,
    config_path=CONFIG_PATH
)

# データセットを反復処理します。各アイテムは、key、size、read() メソッドを持つ DataObject です。
for item in iterable_dataset:
    print(item.key)
    print(item.size)
    content = item.read()
    print(len(content))

マニフェストファイルからのデータセットの構築

データインデックスが有効化された大規模なデータセットでは、from_manifest_file を使用します。この方法では、実行時にリスト API を呼び出す代わりに、事前に作成されたマニフェストファイルからオブジェクト一覧を読み込むため、遅延と関連コストを削減できます。

ステップ 1：マニフェストファイルの作成

touch manifest_file を実行し、以下のいずれかのフォーマットで内容を記述してください。

オブジェクト名のみ：

Img/BadImag/Bmp/Sample001/img001-00001.png
Img/BadImag/Bmp/Sample001/img001-00002.png
Img/BadImag/Bmp/Sample001/img001-00003.png

オブジェクト名とラベルを含む：

Img/BadImag/Bmp/Sample001/img001-00001.png label1
Img/BadImag/Bmp/Sample001/img001-00002.png label2
Img/BadImag/Bmp/Sample001/img001-00003.png label3

ステップ 2：データセットの構築

以下の例では、マニフェストファイル用の組み込みパーサである imagenet_manifest_parser を使用します。manifest_file_path には、ローカルパスと OSS URI の両方がサポートされています。

import io
from typing import Iterable, Tuple, Union
from osstorchconnector import OssIterableDataset
from osstorchconnector import imagenet_manifest_parser

ENDPOINT = "http://oss-cn-beijing-internal.aliyuncs.com"
CONFIG_PATH = "/etc/oss-connector/config.json"
CRED_PATH = "/root/.alibabacloud/credentials"
OSS_BASE_URI = "oss://ai-testset/EnglistImg/"

# オプション 1：ローカルパスからマニフェストファイルを読み込む。
# manifest_file_path: マニフェストファイルのローカルパス
# manifest_parser: 各行を (oss_uri, label) タプルに解析する関数
# oss_base_uri: マニフェスト内の相対パスに付加され、完全な OSS URI を形成するベース URI
MANIFEST_FILE_LOCAL = "/path/to/manifest_file.txt"
iterable_dataset = OssIterableDataset.from_manifest_file(
    manifest_file_path=MANIFEST_FILE_LOCAL,
    manifest_parser=imagenet_manifest_parser,
    oss_base_uri=OSS_BASE_URI,
    endpoint=ENDPOINT,
    cred_path=CRED_PATH,
    config_path=CONFIG_PATH
)
for item in iterable_dataset:
    print(item.key)
    print(item.size)
    print(item.label)
    content = item.read()
    print(len(content))

# オプション 2：OSS URI からマニフェストファイルを読み込む。
MANIFEST_FILE_URI = "oss://manifest_fileai-testset/EnglistImg/manifest_file"
iterable_dataset = OssIterableDataset.from_manifest_file(
    manifest_file_path=MANIFEST_FILE_URI,
    manifest_parser=imagenet_manifest_parser,
    oss_base_uri=OSS_BASE_URI,
    endpoint=ENDPOINT,
    cred_path=CRED_PATH,
    config_path=CONFIG_PATH
)

共通パラメーター

メソッド固有のパラメーター

transform

データセットを反復処理する際、各 DataObject は返される前に transform 関数を経由します。

# デフォルトの transform：DataObject のコピーを返します。
def identity(obj: DataObject) -> DataObject:
    if obj is not None:
        return obj.copy()
    else:
        return None

import sys
import io
import torchvision.transforms as transforms
from PIL import Image
from osstorchconnector import OssIterableDataset

ENDPOINT = "http://oss-cn-beijing-internal.aliyuncs.com"
CONFIG_PATH = "/etc/oss-connector/config.json"
CRED_PATH = "/root/.alibabacloud/credentials"
OSS_URI = "oss://ai-testset/EnglistImg/Img/BadImag/Bmp/Sample001/"

# イメージ前処理パイプラインを定義します。
trans = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

# カスタム transform：イメージをデコードし、前処理を適用します。
# DataObject 自体ではなく、(tensor, label) タプルを返します。
def transform(obj):
    try:
        img = Image.open(io.BytesIO(obj.read())).convert('RGB')
        val = trans(img)
    except Exception as e:
        raise e
    return val, obj.label

iterable_dataset = OssIterableDataset.from_prefix(
    OSS_URI,
    endpoint=ENDPOINT,
    transform=transform,
    cred_path=CRED_PATH,
    config_path=CONFIG_PATH
)

manifest_parser

manifest_parser はマニフェストファイルを解析し、(oss_uri, label) タプルのイテレーターを返します。このイテレーターは from_manifest_file によって消費されます。

組み込みパーサをインポートします。

from osstorchconnector import imagenet_manifest_parser

組み込み実装では、タブ区切りの各行が読み込まれます。2 つ以上のフィールドを持つ行は (key, label) を生成し、1 つのフィールドを持つ行は (key, '') を生成します。

def imagenet_manifest_parser(reader: io.IOBase) -> Iterable[Tuple[str, str]]:
    lines = reader.read().decode("utf-8").strip().split("\n")
    for i, line in enumerate(lines):
        try:
            items = line.strip().split('\t')
            if len(items) >= 2:
                key = items[0]
                label = items[1]
                yield (key, label)
            elif len(items) == 1:
                key = items[0]
                yield (key, '')
            else:
                raise ValueError("format error")
        except ValueError as e:
            logging.error(f"Error: {e} for line {i}: {line}")

異なるマニフェストフォーマットをサポートするには、同じシグネチャ（オープン済みのファイルライクオブジェクトを受け取り、(oss_uri, label) タプルのイテラブルを返す）を持つ関数を実装してください。