Platform For AI:KV からテーブルへ

仕組み

各行にカンマ区切りの key:value ペアを含む KV 列があるとします。

入力 — サンプルごとに 1 行、KV 列が 1 つ：

出力 — キーごとに 1 つの数値列：

このコンポーネントは、列名とキーインデックスのマッピングを記録する key_map テーブルも書き出します。

変換された列は、出力で追加された列の前に表示されます。

基本概念

制限事項

• 最大出力列数：1,200。top1200 が true に設定されている場合、出力がこの制限を超えると、コンポーネントは最初の 1,200 列のみをエクスポートします。false に設定されている場合、コンポーネントは代わりにエラーを報告します。

• 最大入力行数：100,000,000

コンポーネントの設定

PAI -name KVToTable
    -project algo_public
    -DinputTableName=test
    -DoutputTableName=test_out
    -DoutputKeyMapTableName=test_keymap_out
    -DkvColName=kv;

例

1. 入力テーブルを作成します。

   DROP TABLE IF EXISTS test;
   CREATE TABLE test AS
   SELECT * FROM
       (
           SELECT '1:1,2:2,3:-3.3' AS kv UNION ALL
           SELECT '1:10,2:20,3:-33.3' AS kv
       ) tmp;

2. 「KV からテーブルへ」コンポーネントを実行します。

   PAI -name KVToTable
       -project algo_public
       -DinputTableName=test
       -DoutputTableName=test_out
       -DoutputKeyMapTableName=test_keymap_out
       -DkvColName=kv;

3. 出力テーブル (test_out) を確認します。

   kv_1	kv_2	kv_3
   1.0	2.0	-3.3
   10.0	20.0	-33.3

4. key_map テーブル (test_keymap_out) を確認します。

   col_name	col_index	col_type
   kv_1	1	double
   kv_2	2	double
   kv_3	3	double

よくある質問

key_map テーブルを提供した場合、どの列が変換されますか？

key_map テーブルと入力 KV 列の両方にキーが表示される列のみが変換されます。

key_map テーブルを提供した場合、出力列はどのデータの型を使用しますか？

出力列は、key_map テーブルの col_datatype 列で指定されたデータの型を使用します。col_datatype が指定されていない場合、出力はデフォルトで DOUBLE になります。

列名の競合が発生するのはなぜですか？

追加された列が変換されたキー列と名前を共有している場合、コンポーネントはエラーを報告します。コンポーネントを実行する前に、競合する列のいずれかの名前を変更してください。

どの列タイプが変換できますか？

数値データの型の列のみ変換できます。

列名が 128 文字を超えるとどうなりますか？

最初の 128 文字のみが保持されます。

行に重複するキーが含まれている場合はどうなりますか？

コンポーネントは重複するキーの値を合計します。