DataWorks のデータセットは、画像やドキュメントなどの非構造化データの一元管理を提供します。データセットは、Object Storage (OSS または COS)、File Storage NAS (汎用または Extreme)、または DLF Lance テーブルをバックエンドとして使用でき、バージョン間でデータを追跡できます。
概要
データセットを使用すると、OSS および NAS に保存されているデータを DataWorks から直接読み書きできます。データセットの複数のバージョンを作成し、変更を時系列で追跡し、必要に応じて以前のバージョンに戻すことができます。
課金
DataWorks のデータセット機能は無料です。OSS および NAS ストレージには、別途ストレージ料金とネットワーク料金が発生します (OSS の課金、NAS の課金)。
データセットの作成
-
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、[データマップに移動] をクリックします。
-
「データマップ」ページで、左側のナビゲーションウィンドウにある データカタログ (
) をクリックします。「データカタログ」ページで [Default Directory] タブが表示されていることを確認し、ディレクトリ一覧 の下にある [DataSet] をクリックします。 -
対象のワークスペースをクリックします。データセット一覧ページで データセットの作成 をクリックし、下記の説明に従って設定を行います。
管理者がデータセットタイプに カスタム属性 を設定している場合、データセットの作成時にビジネスドメインやデータ機密度レベルなどの値を設定できます。カスタム属性は、ワークスペースレベルの値を継承できます。
新しいバージョンを作成する際、カスタム属性値はデータセット自体から継承され、バージョン作成ページでは変更できません。値を変更するには、まずデータセットのカスタム属性を編集する必要があります。
[データセット設定] ステップで [ストレージタイプ] を選択すると、[インポート設定] ステップにそのタイプ固有のフィールドが表示されます。次の表は、利用可能なストレージタイプの一覧です。フィールドの詳細については、対応するサブセクションをご参照ください。
|
ストレージタイプ |
典型的なユースケース |
利用条件 |
|
Object Storage (OSS) |
OSS バケット内のフォルダーをマウントし、データ開発ノードが非構造化データを読み書きできるようにします。 |
デフォルトで利用可能です。 |
|
Object Storage (COS) |
Tencent Cloud COS 内のディレクトリをマウントし、すでに登録されている COS データソースを再利用します。 |
現在のワークスペースに少なくとも 1 つの COS データソースが登録されている場合にのみ利用可能です。 |
|
File Storage NAS (汎用 / Extreme) |
Alibaba Cloud NAS ファイルシステムのサブパスをマウントします。複数のタスク間で共有アクセスや同時読み書きが必要なシナリオに適しています。 |
デフォルトで利用可能です。汎用 NAS と Extreme NAS は同じフォームを使用します。実際のファイルシステムの選択によってバリアントが決まります。 |
|
DLF Lance |
DLF データソース配下の Paimon カタログに存在する Lance テーブルをマウントします。登録はテーブル単位で行われます。 |
現在のワークスペースに、少なくとも 1 つの Paimon カタログを持つ DLF データソースが必要です。 |
ストレージタイプ:Object Storage (OSS)
-
[データセットの設定]:
設定項目
説明
ストレージタイプ
Object Storage (OSS) です。
コンテンツタイプ
オプション。データタイプを選択します。デフォルト:汎用。
-
[構成のインポート]:
設定項目
説明
OSS パス
マウントする OSS フォルダーのパスです。バケットとエンドポイントはパスから自動的に解析されるため、個別のフィールドは不要です。
説明必要な OSS バケットの権限 があることを確認してください。
デフォルトのマウントパス
DataWorks 内の OSS フォルダーのマウントパスです。デフォルト:
/mnt/data/。マウントパスは変更可能です。カスタムパスは/mnt/で始まる必要があります。
ストレージタイプ:Object Storage (COS)
[ストレージタイプ] ドロップダウンには、現在のワークスペースに少なくとも 1 つの COS データソースが登録されている場合にのみ、このオプションが表示されます。COS がリストにない場合は、まず COS データソースを登録し、ワークスペースにバインドしてください。
-
[データセットの設定]:
設定項目
説明
ストレージタイプ
Object Storage (COS) です。
コンテンツタイプ
オプション。データタイプを選択します。デフォルト:汎用。
-
[構成のインポート]:
設定項目
説明
COS データソース
必須。現在のワークスペースにすでに登録されている COS データソースを選択します。ドロップダウンでは、データソース名によるあいまい検索がサポートされており、各エントリのデータソース ID が表示されます。利用可能なデータソースがない場合は、ドロップダウンの [データソースの作成] リンクを使用して作成します。
COS パス
必須。マウントする COS ディレクトリパスを手動で入力します。アカウントがそのパスに対する読み取りおよび書き込み権限を持っていることを確認してください。
説明COS データセットは、カスタムのデフォルトマウントパスをサポートしていません。そのため、作成フォームに [アプリケーション設定] ステップは表示されません。
ストレージタイプ:File Storage NAS (汎用 / Extreme)
汎用 NAS と Extreme NAS は同じフォームを使用します。[ファイルシステム] ドロップダウンに表示されるファイルシステムのみが異なります:
-
[ストレージタイプ] として [File Storage (汎用 NAS)] を選択すると、[ファイルシステム] ドロップダウンには汎用 NAS システムのみが表示され、デフォルトの [ファイルシステムパス] はルートディレクトリ
/になります。 -
[ストレージタイプ] として [File Storage (Extreme NAS)] を選択すると、[ファイルシステム] ドロップダウンには Extreme NAS システムのみが表示され、デフォルトの [ファイルシステムパス] は
/share/になります。
-
[データセットの設定]:
設定項目
説明
ストレージタイプ
[File Storage (汎用 NAS)] または [File Storage (Extreme NAS ファイルシステム)] を選択します。
コンテンツタイプ
オプション。データタイプを選択します。デフォルト:汎用。
-
[構成のインポート]:
設定項目
説明
ファイルシステム
必須。現在のリージョンにある Alibaba Cloud アカウント配下の NAS ファイルシステムを選択します。ドロップダウンは、選択したストレージタイプ (汎用または Extreme) によって自動的にフィルタリングされます。SMB プロトコルを使用するファイルシステムはサポートされていません。
ファイルシステムのマウントターゲット
必須。NAS ファイルシステムの マウントターゲット を設定します。
重要マウントターゲットの VPC は、リソースグループの VPC に接続する必要があります:
-
NAS マウントターゲットとリソースグループの両方に同じ VPC を使用します。
-
VPC をまたぐシナリオの場合は、「概要」に従って、NAS マウントターゲットの VPC をリソースグループの VPC に接続します。
ファイルシステムパス
必須。マウントする NAS フォルダーのパスです。デフォルト値はストレージタイプによって異なります。汎用 NAS は
/、Extreme NAS は/share/がデフォルトです。パスは NAS ファイルシステム内に存在している必要があります。存在しない場合、データセットの使用時に失敗します。デフォルトのマウントパス
DataWorks 内の NAS フォルダーのマウントパスです。デフォルト:
/mnt/data/。マウントパスは変更可能です。カスタムパスは/mnt/で始まる必要があります。 -
ストレージタイプ:DLF Lance
DLF Lance データセットは、テーブル単位で登録されます。開始する前に、現在のワークスペースに DLF データソースを登録し、その DLF に少なくとも 1 つの Paimon カタログと Lance テーブルが含まれていることを確認してください。インポートはディレクトリやファイル形式ごとではなくテーブルごとに行われるため、このストレージタイプでは [インポート形式] フィールドは表示されません。
-
[データセットの設定]:
設定項目
説明
ストレージタイプ
DLF Lance です。
コンテンツタイプ
オプション。データタイプを選択します。デフォルト:汎用。
-
[構成のインポート]:
設定項目
説明
カタログ名
必須。ドロップダウンには、DLF データソース配下の Paimon タイプのカタログのみが表示されます。
データベース名
必須。ドロップダウンの内容は選択されたカタログに基づいて表示され、カタログが選択されるまで無効になっています。
Lance テーブル名
必須。ドロップダウンには、選択されたデータベース配下の Lance タイプのテーブルのみが表示されます。
デフォルトのマウントパス
DataWorks 内の Lance テーブルのマウントパスです。デフォルト:
/mnt/data/。マウントパスは変更可能です。カスタムパスは/mnt/で始まる必要があります。
データセット詳細の表示
このセクションでは、既存のデータセットを検索する方法について説明します。データセット詳細ページの開き方と、利用可能な情報について解説します。データセットを変更する (バージョンの作成、削除など) には、「データセットの管理」をご参照ください。
データセット詳細ページに移動するには、 でターゲットワークスペースのデータセットリストを開き、ターゲットデータセットの 操作 列にある 詳細 をクリックします。
詳細ページには 2 つのレイアウトがあります。データカタログパネル (デフォルト) からページを開くと、右上隅に [バージョンの作成] ボタンと [データセットの削除] ボタンが表示されます。グローバル検索結果または外部ディープリンク (スタンドアロンの詳細ルート) から直接ページを開くと、ページヘッダーには、データカタログにあるこのデータセットの管理パネルに戻るための 管理画面へ ボタンも表示されます。タブコンテンツは、両方のレイアウトで同じです。
詳細ページには、次のタブが含まれています:
-
プロパティ:データセットの所有者、作成時刻、所有ワークスペース、説明、その他のコアフィールドが表示されます。管理者がカスタム属性を設定している場合は、対応するカスタム属性カードも表示されます (詳細については、「カスタム属性」をご参照ください。カスタム属性値はワークスペースから継承できます)。このタブには [データセットバージョン] ブロックも埋め込まれており、データセットのすべてのバージョンが表示され、バージョンの切り替えや、OSS コンソールに移動して元のデータを表示するためのエントリが提供されます (「データセットデータの表示」をご参照ください)。
-
[データの表示]: DataWorks を離れずに、データセットのストレージタイプとコンテンツタイプに基づいてサンプルデータをプレビューします。
説明このタブは、ストレージタイプが Object Storage (OSS) であり、コンテンツタイプがプラットフォーム内でのプレビューに対応しているデータセットにのみ表示されます。他のストレージタイプまたはコンテンツタイプのデータセットの場合、このタブは表示されません。OSS コンソールに移動して元のファイルを検査するには、「データセットデータの表示」を使用してください。
-
[データリネージ]: データセットと上流テーブルまたは下流タスクとの間のリネージを表示します。
-
[使用方法]: データセットの使用上の注意を管理および参照します。テーブル詳細の Notes タブと同等の機能です。
データセットの管理
このセクションでは、既存のデータセットを変更します。操作はタスクごとに整理されており、データセット詳細ページ (「データセット詳細の表示」を参照) の右上隅、または [プロパティ] タブの データセットバージョン ブロックから実行します。
-
バージョンの作成 (データセットの参照先を更新):
データセット詳細ページの右上隅にあるバージョンの作成をクリックして、バージョン作成ページを開きます。「バージョン設定」エリアでは、OSS パス または NAS ファイルシステム設定を再入力し、デフォルトのマウントパス を再設定できます (表示されるフィールドはデータセットのストレージタイプによって異なります)。「データセット設定」エリア (名前、ストレージタイプ、コンテンツタイプ、カスタム属性など) は、新しいバージョンを作成する際には読み取り専用です。これらの値を変更するには、まずデータセット自体を編集してください。
-
データセットデータの表示 (外部コンソールへの移動):
ストレージタイプが Object Storage (OSS) のデータセットでのみ利用可能です。 [プロパティ] タブで、データセットバージョン ブロックを探し、対象バージョンを選択して、操作エリアの OSS で表示 ボタンをクリックします。 OSS コンソールにリダイレクトされ、そのバージョンのストレージパスに直接移動します。 データセットのコンテンツタイプがプラットフォーム内プレビューをサポートしている場合、操作エリアには代わりに [データビュー] ボタンが表示され、このボタンをクリックすると [データビュー] タブが開いて DataWorks から離れることなくデータをプレビューできます。
-
バージョンの削除 (単一バージョンの取り消し):
[プロパティ] タブで、データセットバージョン ブロックの右上隅にあるドロップダウンからターゲットバージョンを選択し、削除 をクリックします。選択したバージョンのみが削除されます。データセット自体は保持され、そのほかのバージョンにも引き続きアクセスできます。
-
データセットの削除 (データセット全体の削除):
データセット詳細ページの右上隅にある削除をクリックすると、データセットとそのすべてのバージョンが削除されます。
データセットまたはバージョンを削除しても、DataWorks のデータセット機能からレコードが削除されるだけで、OSS、NAS、またはその他の基盤となるストレージ内の元のファイルは削除されません。ただし、この削除は DataWorks では元に戻すことができないため、注意して進めてください。
データセットの使用
Data Studio のデータセットは、Shell ノード、Python ノード、Notebook 開発、または個人開発環境で使用できます。
「データセットの使用」をご参照ください。