Platform For AI:鉄道模型

モデルトレインコンポーネントを使用して、EasyRecモデルをトレーニングできます。

前提条件

Object Storage Service (OSS) が有効化され、Machine Learning DesignerはOSSへのアクセスが許可されています。 詳細については、「OSSの有効化」および「Machine Learning Designerの使用に必要な権限の付与」をご参照ください。

コンポーネントの設定

次のいずれかの方法を使用して、モデルトレインコンポーネントを設定できます。

Machine Learning Designerでコンポーネントを構成する

• 入力ポート

• コンポーネントパラメータ

PAIコマンドとパラメータ

PAI -project algo_public -name easy_rec_ext 
    -Darn="acs:ram::xxxx:role/aliyunodpspaidefaultrole" 
    -Dbuckets="oss://rec_sln_demo/" 
    -Dcluster="{\"ps\": {\"count\": 2, \"cpu\": 1000, \"memory\": 40000}, \"worker\": {\"count\": 6, \"cpu\": 800, \"gpu\": 0, \"memory\": 40000}}" 
    -Dcmd="train" 
    -Dconfig="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/rec_sln_demo_dssm_recall_v1.config" 
    -Deval_tables="odps://pai_hangzhou/tables/pai_temp_flow_26un8zq7v4goadi373_node_39w13qw9osm9rdbu0h_outputTable" 
    -Dlifecycle="28" 
    -Dmodel_dir="oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230425" 
    -DossHost="oss-cn-hangzhou-internal.aliyuncs.com" 
    -Dscript="oss://rec_sln_demo/easy_rec_ext_0.6.1_res.tar.gz" 
    -Dselected_cols="is_click,features" 
    -Dtables="odps://pai_hangzhou/tables/pai_temp_flow_26un8zq7v4goadi373_node_4ijqwcg7upzteu5036_outputTable,odps://pai_hangzhou/tables/pai_temp_flow_26un8zq7v4goadi373_node_39w13qw9osm9rdbu0h_outputTable,odps://pai_hangzhou/tables/pai_temp_flow_fty24i21e9dzvzj6a0_node_svxd0bqu2x7ep8furu_outputTable" 
    -Dtrain_tables="odps://pai_hangzhou/tables/pai_temp_flow_26un8zq7v4goadi373_node_4ijqwcg7upzteu5036_outputTable"
    -Dedit_config_json="{\"train_config.fine_tune_checkpoint\": \"oss://rec_sln_demo/EasyRec/deploy/rec_sln_demo_dssm_recall_v1/20230405/\", \"data_config.negative_sampler.input_path\": \"odps://pai_hangzhou/tables/pai_temp_flow_fty24i21e9dzvzj6a0_node_svxd0bqu2x7ep8furu_outputTable\"}" ;

"

例

1. 次のデータセットを準備します。

   • train: pai_online_project.easyrec_demo_taobao_train_data

   • test: pai_online_project.easyrec_demo_taobao_test_data

   説明

   上記の2つのテーブルは、独自のODPSテーブルです。 テストを容易にするために、上記の2つのテーブルに公的にアクセスできる。

2. 次の図に示すように、パイプラインを作成します。

   エリア	説明
   ①	[テーブルの読み取り] コンポーネントで、[テーブル名] パラメーターを [トレーニングテーブル] に設定します。
   ②	[テーブル2の読み取り] コンポーネントで、[テーブル名] パラメーターを [テストテーブル] に設定します。
   ③	EasyRec設定ファイルをOSSにアップロードし、EasyRec設定セクションでアップロードされたファイルを選択します。 モデルが格納されているパスをmodel Dirセクションで指定します。

3. 出力モデルを表示します。

   パイプラインの実行後、model Dirパラメーターで指定したOSSパスにエクスポートされたモデルを表示できます。

4. Logviewを使用してログを分析します。

   コマンドを実行してモデルトレーニングを実行すると、システムはLogview URLを出力します。 Model Trainコンポーネントを右クリックし、ショートカットメニューの [ログの表示] をクリックします。 Logviewを使用して、モデルトレーニング結果を表示し、エラーを特定できます。

ワーカーの実行ステータスを表示するページで、タスクとワーカーを表示します。

ここで:

• ワーカー0はトレーニングワーカーです。 StdErr列のアイコンをクリックして、トレーニングプロセスを表示します。

• 作業者1は評価作業者である。 StdErr列のアイコンをクリックして、評価セットのモデルのメトリックを表示します。

詳細については、「ランクの8_rec_sln_demo_rec_sln_demo_sorting_v2_train」および「DSSMベクトルのリコール」の「12 _rec_sln_demo_dssm_recall_v1_train」をご参照ください。