ジョブデータを事前に構成し、ジョブデータファイルと実行可能ファイルをオブジェクトストレージサービス(OSS)バケットにアップロードできます。ジョブを作成するときに、OSS バケットに保存されているジョブファイルを直接インポートして、作業効率を向上させることができます。このトピックでは、ジョブファイルを OSS バケットにアップロードし、クラスターにインポートする方法について説明します。
OSS バケットへのジョブファイルのアップロード
ジョブデータファイルと実行可能ファイルを OSS バケットにアップロードするには、次の手順を実行します。
クラスターと同じリージョンを選択します。
詳細については、「OSS の有効化」をご参照ください。
ジョブファイルを保存するバケットを作成します。
詳細については、「バケットの作成」をご参照ください。
ジョブファイルをアップロードします。
詳細については、「オブジェクトのアップロード」をご参照ください。
クラスターへの OSS バケットからのジョブファイルのインポート
クラスターにログオンします。
詳細については、「クラスターへのログオン」をご参照ください。
次のいずれかの方法を選択して、ジョブファイルをインポートします。
OSS の URL にアクセスしてジョブファイルをインポートする
OSS サービスの URL を取得します。
詳細については、「パブリックエンドポイントを使用して OSS にアクセスする」および「内部エンドポイントを使用して OSS にアクセスする」をご参照ください。
次のコマンドを実行して、ジョブデータファイルとスクリプトファイルをダウンロードします。
この例では、スクリプトファイルは test.py、ジョブデータファイルは test.data です。
GNU Wget がコンピューターにインストールされている場合:
cd /ehpcdata wget http://<Bucket>.<Internal endpoint>/test.py wget http://<Bucket>.<Internal endpoint>/test.dataGNU Wget がコンピューターにインストールされていない場合:
cd /ehpcdata curl -O http://<Bucket>.<Internal endpoint>/test.py curl -O http://<Bucket>.<Internal endpoint>/test.data
ジョブファイルの一時 URL にアクセスしてジョブファイルをインポートする
ジョブファイルの一時署名付き URL を取得します。
詳細については、「サードパーティユーザーにオブジェクトのダウンロードを承認する」をご参照ください。
次のコマンドを実行して、ジョブデータファイルとスクリプトファイルをダウンロードします。
この例では、スクリプトファイルは test.py、ジョブデータファイルは test.data です。
GNU Wget がコンピューターにインストールされている場合:
cd /ehpcdata wget http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.py wget http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.dataGNU Wget がコンピューターにインストールされていない場合:
curl -O http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.py curl -O http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.data