DataWorks:データセットの使用

準備: データセットの作成

1. バケットの作成 または ファイルシステムの作成。

   この例では OSS データセットを使用します。中国 (上海) リージョンに datasets-oss という名前のバケットが作成され、/dataset01/v1 フォルダが作成されます。

2. データセットの作成。

   この例では、datasets-oss という名前の OSS データセットが作成されます。OSS パス oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/ は /mnt/data/dataset01 にマウントされます。

1. ノードのデータセットを構成する

Shell または Python ノードの [デバッグ設定] で datasets-oss データセットを構成します。

2. ノードでデータセットを使用する

このセクションでは、Shell ノードを例として使用します。OSS データセットを Shell ノードにアタッチすると、ローカルファイルを管理するのと同じ方法で Shell ノードコード内の OSS データを管理できます。次の例は、デフォルトの ossfs 2.0 ツールを使用して file01.txt ファイルを datasets-oss データセットのマウントパス /mnt/data/dataset01 にアップロードし、ファイルにデータを書き込む方法を示しています。

サンプルコード:

echo "Hello World" > /mnt/data/dataset01/file01.txt
ls -tl /mnt/data/dataset01

3. OSS にデータが書き込まれたことを確認する

2. ノードでデータセットを使用する のコードが実行されると、ファイルはデータセットのマウントパスに対応する OSS ストレージパスに自動的に書き込まれます。OSS ストレージパスに移動して、DataWorks ノードから書き込まれたファイルを表示できます。この例では、OSS データセット datasets-oss のマウントパス /mnt/data/dataset01 に対応するストレージパスは oss://datasets-oss.oss-cn-shanghai.aliyuncs.com/dataset01/v1/ です。次の図は、OSS パスに書き込まれたデータの例を示しています。

準備: データセットの作成

1. バケットの作成 または ファイルシステムの作成。

2. データセットの作成。

   この例では NAS データセットを使用します。中国 (上海) リージョンに datasets-nas という名前の NAS データセットが作成されます。NAS パス nas://****.cn-shanghai.nas.aliyuncs.com/mnt/dataset02/v1/ は /mnt/data/dataset02 にマウントされます。

1. 個人開発環境のデータセットを構成する

個人開発環境インスタンス を作成し、作成した datasets-nas NAS データセットを選択します。

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}

2. Notebook でデータセットを読み取る

1. Data Studio ページの上部で、個人開発環境インスタンス に切り替え、Notebook を作成します。

2. Notebook で次の内容を構成します。

   1. データセット内の指定されたパスにデータを書き込みます。

      import os
      
      # 宛先パスとファイル名を定義します。
      file_path = "/mnt/data/dataset02/file02.txt"
      
      # フォルダが存在することを確認します。フォルダが存在しない場合は作成します。
      os.makedirs(os.path.dirname(file_path),exist_ok=True)
      
      # 内容を書き込みます。
      content = "Hello World!"
      try:
          with open(file_path, "w", encoding="utf-8") as file:
              file.write(content)
          print(f"ファイルが正常に書き込まれました: {file_path}")
      except Exception as e:
          print(f"書き込みに失敗しました: {str(e)}")

   2. データセット内の指定されたパスからデータを読み取ります。

      file_path = "/mnt/data/dataset02/file02.txt"
      with open(file_path, "r") as file:
          content = file.read()
      content

3. 2 つの Python コードブロックを個別に実行します。

   説明

   実行時には、Python カーネルを確認する必要があります。この例では Python 3.11.9 を使用します。

   

3. スケジューリングの構成

Notebook ノードの右側で [スケジューリング設定] をクリックし、データセット関連のオプションを追加します。パラメーター構成は、個人開発環境インスタンスを作成したときに設定したデータセットパラメーターと同じである必要があります。

ossfs 2.0 を使用した OSS のマウントとアクセス

ossfs 2.0 は、マウントによって OSS に高性能でアクセスするために設計されたクライアントです。優れたシーケンシャル読み取りおよび書き込み機能を提供し、OSS の高帯域幅を最大限に活用できます。AI トレーニングやデータ処理などの計算集約型アプリケーションなど、高いシーケンシャル読み取りおよび書き込みパフォーマンスを必要とするシナリオに適しています。これらのワークロードシナリオは、主にシーケンシャルおよびランダム読み取り、シーケンシャル書き込み (追加のみ) を含み、完全な POSIX セマンティクスを必要としません。

[データセット] > [詳細設定] で、詳細パラメーターを設定できます。複数のオプションはカンマ (,) で区切ります。詳細パラメーターおよびその他のオプションの詳細については、「ossfs 2.0 マウントオプション」をご参照ください。以下は、一般的なシナリオの例です:

• タスク中にデータソースが変更されない: 読み取りプロセス中に読み取られるファイルが変更されない場合、長いキャッシュ時間を構成してメタデータリクエストの数を減らすことができます。典型的なシナリオは、既存のファイルのバッチを読み取り、処理後に新しいファイルのバッチを生成することです。

  {"mountOssType":"ossfs", "attr_timeout": "7200"}

• 高速な読み取りと書き込み: 短いメタデータキャッシュ時間を使用して、キャッシュ効率とファイルデータの適時性のバランスを取ります。

  {"mountOssType":"ossfs", "attr_timeout": "3", "negative_timeout":"0"}

• 分散タスクの読み取りと書き込みの一貫性: デフォルトでは、ossfs はメタデータキャッシュに基づいてファイルデータを更新します。次の構成を使用して、複数のノード間で同期されたビューを実現します。{ "mountOssType":"ossfs","negative_timeout": "0", "close_to_open":"false"}

  { "mountOssType":"ossfs","negative_timeout": "0", "close_to_open":"false"}

• 同時に開かれるファイルが多すぎて OOM エラーが発生する: タスクの同時実行性が高く、多くのファイルが同時に開かれると、メモリ不足 (OOM) の問題が発生する可能性があります。次の構成を使用して、メモリの圧迫を緩和できます。

  {"mountOssType":"ossfs","readdirplus": "false", "inode_cache_eviction_threshold":"300000"}

ossfs 1.0 を使用した OSS のマウントとアクセス

ossfs 1.0 を使用すると、OSS バケットを Linux システム上のローカルファイルシステムとしてマウントできます。ossfs 2.0 と比較して、ossfs 1.0 はより包括的なファイル操作サポートを提供します。ossfs 2.0 でディレクトリをマウントした後にファイル操作の非互換性の問題が発生した場合は、ossfs 1.0 の使用を試すことができます。

ossfs 1.0 でのマウントに必要なパラメーターの詳細については、「ossfs 1.0 マウントオプション」をご参照ください。

JindoFuse を使用した OSS のマウントとアクセス

JindoFuse コンポーネントを使用して、OSS データセットをコンテナー内の指定されたパスにマウントできます。このツールは、次のシナリオに適しています:

• OSS データをローカルデータセットであるかのように読み取りたい場合、またはデータセットが小さく、JindoFuse のローカルキャッシュを効果的に使用して高速化できる場合。

• OSS にデータを書き込む必要がある場合。

[データセット] > [詳細設定] で、詳細パラメーターを設定できます。複数の構成はカンマ (,) で区切ります。以下は構成例です。パラメーターの説明とその他のパラメーター構成については、「JindoFuse ユーザーガイド」および「JindoFuse を使用したデータのマウントとアクセス」をご参照ください。

{ 
  "mountOssType":"jindofuse",
  "fs.oss.download.thread.concurrency": "2 × CPU コア数",
  "fs.oss.upload.thread.concurrency": "2 × CPU コア数",
  "attr_timeout": 3,
  "entry_timeout": 0,
  "negative_timeout": 0
}

NAS データセットの使用

追加したデータセットが NAS データセットの場合、NFS プロトコルを使用する NAS ファイルシステムにアクセスするための構成 (nasOptions パラメーター) を指定できます。次のコードは、デフォルトの構成を示しています。パラメーター値をカスタマイズするには、「NFS ファイルシステムを手動でマウントする」をご参照ください。

{"nasOptions":"vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport"}