すべてのプロダクト
Search

このプロダクト

    Platform For AI:不足しているデータの追加

    ドキュメントセンター

    Platform For AI:不足しているデータの追加

    最終更新日:Jan 20, 2025

    欠損データ付加は、データセット内の欠損データを処理する方法であり、欠損データを推論して置換することにより、データの整合性とモデルのパフォーマンスを向上させることを目的としています。 一般的な帰属技法には、最小値、最大値、平均値、またはカスタム値を充填することが含まれる。 これらの手法は、モデルのトレーニングと予測に対する不完全なデータの悪影響を軽減するのに役立ちます。

    コンポーネントの設定

    方法1: パイプラインページでコンポーネントを設定する

    Machine Learning Designerのパイプラインの詳細ページで、Missing Data Imutationコンポーネントをパイプラインに追加し、次の表に示すパラメーターを設定します。

    タブ

    パラメーター

    説明

    フィールド設定

    指定する列

    データを追加する列を選択します。

    元の値

    データを追加する列の元の値。 有効な値：

    • ヌル (数値と文字列)

    • 空の文字列

    • Null and Empty String (String)

    • カスタム (文字列)

    交換する

    データを追加する列の新しい値。 有効な値：

    • 最小 (数値)

    • 最大 (数値)

    • 平均 (数値)

    • カスタム (数値と文字列)

    Configs

    カスタム置換ポリシーを設定します。 値は列1、元の値、新しい値; 列2、元の値、新しい値;...形式を指定します。

    説明

    このパラメーターは、[詳細オプション] を選択した場合にのみ表示されます。

    チューニング

    コア

    コアの数。

    コアあたりのメモリサイズ

    各コアのメモリサイズ。 単位：MB。

    方法2: PAIコマンドを使用してコンポーネントを構成する

    PAIコマンドを使用してコンポーネントパラメータを設定します。 SQL Scriptコンポーネントを使用してPAIコマンドを呼び出すことができます。 詳細については、「シナリオ4: SQLスクリプトコンポーネント内でPAIコマンドを実行する」をご参照ください。 

    PAI -name FillMissingValues
    -project algo_public
    -Dconfigs="poutcome,null-empty,testing"
    -DoutputParaTableName="test_input_model_output"
    -DoutputTableName="test_3"
    -DinputTablePartitions="pt=20150501"
    -DinputTableName="bank_data_partition";

    パラメーター

    必須 / 任意

    デフォルト値

    説明

    inputTableName

    対象

    デフォルト値なし

    入力テーブルの名前。

    inputTablePartitions

    非対象

    すべてのパーティション

    トレーニング用に入力テーブルから選択されたパーティション。 次の形式がサポートされています。

    • Partition_name=value

    • name1=value1/name2=value2: マルチレベルパーティション

    説明

    複数のパーティションを指定する場合は、コンマ (,) で区切ります。

    outputTableName

    対象

    デフォルト値なし

    出力テーブルの名前。

    設定

    対象

    デフォルト値なし

    不足している値を代入するために使用する値。

    たとえば、col1, null, 3.14; col2, empty, hello; col3, empty-null, worldでは、nullはnull値を示し、emptyは空の文字列を示します。

    • 空の文字列を使用する場合、欠落した値を代入する宛先列はSTRING型でなければなりません。

    • 最大値、最小値、または平均値を使用する場合、変数を使用して、max、min、またはmeanという名前を付けることができます。

    • カスタム値を使用する場合、ユーザー定義はcol4,user-defined,str,str123などの指定された形式で使用されます。

    outputParaTableName

    対象

    パーティション分割されていないテーブルである出力パラメータテーブル1

    出力パラメーターテーブルの名前。

    inputParaTableName

    非対象

    デフォルト値なし

    入力パラメーターテーブルの名前。

    ライフサイクル

    非対象

    デフォルト値なし

    出力テーブルのライフサイクル。 有効な値: [1,3650] 。

    coreNum

    非対象

    システムによって決定される

    コンピューティングで使用されるコアの数。 値は正の整数である必要があります。

    memSizePerCore

    非対象

    システムによって決定される

    各コアのメモリサイズ。 単位：MB。 有効値: (1,65536)

    例：

    1. 次のSQL文を実行してテストデータを生成します。 

      drop table if exists fill_missing_values_test_input;
create table fill_missing_values_test_input(
    col_string string,
    col_bigint bigint,
    col_double double,
    col_boolean boolean,
    col_datetime datetime);
insert overwrite table fill_missing_values_test_input
select
    *
from
(
    select
        '01' as col_string,
        10 as col_bigint,
        10.1 as col_double,
        True as col_boolean,
        cast('2016-07-01 10:00:00' as datetime) as col_datetime
    union all
        select
            cast(null as string) as col_string,
            11 as col_bigint,
            10.2 as col_double,
            False as col_boolean,
            cast('2016-07-02 10:00:00' as datetime) as col_datetime
    union all
        select
            '02' as col_string,
            cast(null as bigint) as col_bigint,
            10.3 as col_double,
            True as col_boolean,
            cast('2016-07-03 10:00:00' as datetime) as col_datetime
    union all
        select
            '03' as col_string,
            12 as col_bigint,
            cast(null as double) as col_double,
            False as col_boolean,
            cast('2016-07-04 10:00:00' as datetime) as col_datetime
    union all
        select
            '04' as col_string,
            13 as col_bigint,
            10.4 as col_double,
            cast(null as boolean) as col_boolean,
            cast('2016-07-05 10:00:00' as datetime) as col_datetime
    union all
        select
            '05' as col_string,
            14 as col_bigint,
            10.5 as col_double,
            True as col_boolean,
            cast(null as datetime) as col_datetime
) tmp;

      入力データ: 

      +------------+------------+------------+-------------+--------------+
| col_string | col_bigint | col_double | col_boolean | col_datetime |
+------------+------------+------------+-------------+--------------+
| 04         | 13         | 10.4       | NULL        | 2016-07-05 10:00:00 |
| 02         | NULL       | 10.3       | true        | 2016-07-03 10:00:00 |
| 03         | 12         | NULL       | false       | 2016-07-04 10:00:00 |
| NULL       | 11         | 10.2       | false       | 2016-07-02 10:00:00 |
| 01         | 10         | 10.1       | true        | 2016-07-01 10:00:00 |
| 05         | 14         | 10.5       | true        | NULL         |
+------------+------------+------------+-------------+--------------+

    2. 以下のコマンドを実行します。 

      drop table if exists fill_missing_values_test_input_output;
drop table if exists fill_missing_values_test_input_model_output;
PAI -name FillMissingValues
-project algo_public
-Dconfigs="col_double,null,mean;col_string,null-empty,str_type_empty;col_bigint,null,max;col_boolean,null,true;col_datetime,null,2016-07-06 10:00:00"
-DoutputParaTableName="fill_missing_values_test_input_model_output"
-Dlifecycle="28"
-DoutputTableName="fill_missing_values_test_input_output"
-DinputTableName="fill_missing_values_test_input";
drop table if exists fill_missing_values_test_input_output_using_model;
drop table if exists fill_missing_values_test_input_output_using_model_model_output;
PAI -name FillMissingValues
-project algo_public
-DoutputParaTableName="fill_missing_values_test_input_output_using_model_model_output"
-DinputParaTableName="fill_missing_values_test_input_model_output"
-Dlifecycle="28"
-DoutputTableName="fill_missing_values_test_input_output_using_model"
-DinputTableName="fill_missing_values_test_input";

    3. 戻り結果を表示します。

      • fill_missing_values_test_input_output

        +------------+------------+------------+-------------+--------------+
| col_string | col_bigint | col_double | col_boolean | col_datetime |
+------------+------------+------------+-------------+--------------+
| 04         | 13         | 10.4       | true        | 2016-07-05 10:00:00 |
| 02         | 14         | 10.3       | true        | 2016-07-03 10:00:00 |
| 03         | 12         | 10.3       | false       | 2016-07-04 10:00:00 |
| str_type_empty | 11         | 10.2       | false       | 2016-07-02 10:00:00 |
| 01         | 10         | 10.1       | true        | 2016-07-01 10:00:00 |
| 05         | 14         | 10.5       | true        | 2016-07-06 10:00:00 |
+------------+------------+------------+-------------+--------------+

      • fill_missing_values_test_input_model_output

        +------------+------------+
| feature    | json       |
+------------+------------+
| col_string | {"name": "fillMissingValues", "type": "string", "paras":{"missing_value_type": "null-empty",  "replaced_value": "str_type_empty"}} |
| col_bigint | {"name": "fillMissingValues", "type": "bigint", "paras":{"missing_value_type": "null",  "replaced_value": 14}} |
| col_double | {"name": "fillMissingValues", "type": "double", "paras":{"missing_value_type": "null",  "replaced_value": 10.3}} |
| col_boolean | {"name": "fillMissingValues", "type": "boolean", "paras":{"missing_value_type": "null",  "replaced_value": 1}} |
| col_datetime | {"name": "fillMissingValues", "type": "datetime", "paras":{"missing_value_type": "null",  "replaced_value": 1467770400000}} |
+------------+------------+

      • fill_missing_values_test_input_output_using_model

        +------------+------------+------------+-------------+--------------+
| col_string | col_bigint | col_double | col_boolean | col_datetime |
+------------+------------+------------+-------------+--------------+
| 04         | 13         | 10.4       | true        | 2016-07-05 10:00:00 |
| 02         | 14         | 10.3       | true        | 2016-07-03 10:00:00 |
| 03         | 12         | 10.3       | false       | 2016-07-04 10:00:00 |
| str_type_empty | 11         | 10.2       | false       | 2016-07-02 10:00:00 |
| 01         | 10         | 10.1       | true        | 2016-07-01 10:00:00 |
| 05         | 14         | 10.5       | true        | 2016-07-06 10:00:00 |
+------------+------------+------------+-------------+--------------+

      • fill_missing_values_test_input_output_using_model_model_output

        +------------+------------+
| feature    | json       |
+------------+------------+
| col_string | {"name": "fillMissingValues", "type": "string", "paras":{"missing_value_type": "null-empty",  "replaced_value": "str_type_empty"}} |
| col_bigint | {"name": "fillMissingValues", "type": "bigint", "paras":{"missing_value_type": "null",  "replaced_value": 14}} |
| col_double | {"name": "fillMissingValues", "type": "double", "paras":{"missing_value_type": "null",  "replaced_value": 10.3}} |
| col_boolean | {"name": "fillMissingValues", "type": "boolean", "paras":{"missing_value_type": "null",  "replaced_value": 1}} |
| col_datetime | {"name": "fillMissingValues", "type": "datetime", "paras":{"missing_value_type": "null",  "replaced_value": 1467770400000}} |
+------------+------------+