Platform For AI:KV からテーブルへ

仕組み

各行にカンマ区切りの key:value ペアを含む KV 列があるとします。

入力 — サンプルごとに行が 1 つ、KV 列が 1 つ：

出力 — キーごとに数値列が 1 つ：

このコンポーネントは、列名とキーインデックス間のマッピングを記録する `key_map` テーブルも書き込みます。

変換された列は、出力では追加列の前に表示されます。

基本概念

制限事項

• 最大出力列数： 1,200。top1200 が true に設定されている場合、出力がこの制限を超えると、コンポーネントは最初の 1,200 列のみをエクスポートします。false に設定されている場合、コンポーネントは代わりにエラーをレポートします。

• 最大入力行数： 100,000,000

コンポーネントの設定

PAI -name KVToTable
    -project algo_public
    -DinputTableName=test
    -DoutputTableName=test_out
    -DoutputKeyMapTableName=test_keymap_out
    -DkvColName=kv;

例

1. 入力テーブルを作成します。

   DROP TABLE IF EXISTS test;
   CREATE TABLE test AS
   SELECT * FROM
       (
           SELECT '1:1,2:2,3:-3.3' AS kv UNION ALL
           SELECT '1:10,2:20,3:-33.3' AS kv
       ) tmp;

2. KV からテーブルへコンポーネントを実行します。

   PAI -name KVToTable
       -project algo_public
       -DinputTableName=test
       -DoutputTableName=test_out
       -DoutputKeyMapTableName=test_keymap_out
       -DkvColName=kv;

3. 出力テーブル (test_out) を確認します。

   kv_1	kv_2	kv_3
   1.0	2.0	-3.3
   10.0	20.0	-33.3

4. `key_map` テーブル (test_keymap_out) を確認します。

   col_name	col_index	col_type
   kv_1	1	double
   kv_2	2	double
   kv_3	3	double

よくある質問

`key_map` テーブルを提供した場合、どの列が変換されますか？

`key_map` テーブルと入力 KV 列の両方にキーが表示される列のみが変換されます。

`key_map` テーブルを提供した場合、出力列はどのデータの型を使用しますか？

出力列は、`key_map` テーブルの col_datatype 列で指定されたデータの型を使用します。col_datatype が指定されていない場合、出力はデフォルトで DOUBLE になります。

列名の競合が発生するのはなぜですか？

追加列が変換されたキー列と名前を共有している場合、コンポーネントはエラーをレポートします。コンポーネントを実行する前に、競合する列のいずれかの名前を変更してください。

どの列タイプが変換できますか？

数値データ型の列のみ変換できます。

列名が 128 文字を超えるとどうなりますか？

最初の 128 文字のみが保持されます。

行に重複キーが含まれている場合はどうなりますか？

コンポーネントは重複キーの値を合計します。