Platform For AI:トライアドから KV への変換

仕組み

このコンポーネントは、行識別子、列名、数値を表す列を持つトライアドテーブルを入力として受け取り、次の処理を実行します。

1. 各個別列名に一意の整数 ID (col_id) を割り当て、そのマッピングをインデックステーブルに記録します。

2. 行識別子で行をグループ化し、すべての col_id:value ペアを単一のキーと値の文字列に連結します。

入力データの型の要件

入力トライアドテーブルは、次の 2 つの列の型のパターンのいずれかに従う必要があります。

出力されるキーと値のテーブルでは、行と値の列は元のデータの型を保持します。インデックステーブルの col_id 列は常に BIGINT です。

例

入力トライアドテーブル：

コンポーネントは 2 つの出力テーブルを生成します。

キーと値のテーブル — 各行の列値は、単一の col_id:value 文字列に折りたたまれます。

インデックステーブル — 元の各列名を、割り当てられた整数 ID にマッピングします。

コンポーネントの設定

PAI -name triple_to_kv
    -project algo_public
    -DinputTableName=test_data
    -DoutputTableName=test_kv_out
    -DindexOutputTableName=test_index_out
    -DidColName=id
    -DkeyColName=word
    -DvalueColName=count
    -DinputTablePartitions=ds=test1
    -DindexInputTableName=test_index_input
    -DindexInputKeyColName=word
    -DindexInputKeyIdColName=word_id
    -DkvDelimiter=:
    -DpairDelimiter=;
    -Dlifecycle=3

例

次の例では、2 人のユーザーのインタラクションレコードを含むトライアドテーブルを、キーと値のテーブルとインデックステーブルに変換します。

ステップ 1：入力テーブルの作成 (triple2kv_test_input)

drop table if exists triple2kv_test_input;
create table triple2kv_test_input as
select * from (
  select '01' as id, 'a' as word, 10 as count
  union all select '01' as id, 'b' as word, 20 as count
  union all select '01' as id, 'c' as word, 30 as count
  union all select '02' as id, 'a' as word, 100 as count
  union all select '02' as id, 'd' as word, 200 as count
  union all select '02' as id, 'e' as word, 300 as count
) tmp;

ステップ 2：PAI コマンドの実行

PAI -name triple_to_kv
    -project algo_public
    -DinputTableName=triple2kv_test_input
    -DoutputTableName=triple2kv_test_input_out
    -DindexOutputTableName=triple2kv_test_input_index_out
    -DidColName=id
    -DkeyColName=word
    -DvalueColName=count
    -Dlifecycle=1;

出力

列名 a、b、c、d、e には ID 1～5 が割り当てられます。キーと値のテーブル (triple2kv_test_input_out) は、各ユーザーのインタラクションを単一の文字列に折りたたみます。

+----+-------------------+
| id | key_value         |
+----+-------------------+
| 01 | 1:10;2:20;3:30    |
| 02 | 1:100;4:200;5:300 |
+----+-------------------+

インデックステーブル (triple2kv_test_input_index_out) は、列名と ID のマッピングを記録します。

+-----+--------+
| key | key_id |
+-----+--------+
| a   | 1      |
| b   | 2      |
| c   | 3      |
| d   | 4      |
| e   | 5      |
+-----+--------+