Platform For AI:2 標本 t 検定

方法 1：パイプラインページでの設定

Machine Learning Designer のパイプラインページで、2 標本 t 検定コンポーネントのパラメーターを設定します。

方法 2：PAI コマンドの使用

PAI コマンドで t_test アルゴリズムを呼び出して、2 標本 t 検定を実行します。SQL スクリプト コンポーネントを使用して、パイプラインで PAI コマンドを実行します。

pai -name t_test
    -project algo_public
    -DxTableName=pai_t_test_all_type
    -DxColName=col1_double
    -DxTablePartitions=ds=2010/dt=1
    -DyTableName=pai_t_test_all_type
    -DyColName=col1_double
    -DyTablePartitions=ds=2010/dt=1
    -DoutputTableName=pai_t_test_out
    -Dalternative=less
    -Dmu=47
    -DconfidenceLevel=0.95
    -Dpaired=false
    -DvarEqual=true

def CalcCoreNumAndMem(row, centerCount, kOneCoreDataSize=1024):
    """コア数とコアあたりのメモリサイズを計算します。

    Args:
        row: 入力テーブルの行数。
        centerCount: 入力テーブルの列数。
        kOneCoreDataSize: 各コアが処理できるデータ量 (MB)。デフォルト：1024。

    Returns:
        coreNum, memSizePerCore
    """
    kMBytes = 1024.0 * 1024.0
    # コア数
    coreNum = max(1, int(row * 2 * 8 / kMBytes / kOneCoreDataSize))
    # コアあたりのメモリ
    memSizePerCore = max(1024, int(kOneCoreDataSize * 2))
    return coreNum, memSizePerCore

テストデータの準備

create table pai_test_input as
select * from
(
  select 1 as f0, 2 as f1
  union all
  select 1 as f0, 3 as f1
  union all
  select 1 as f0, 4 as f1
  union all
  select 0 as f0, 3 as f1
  union all
  select 0 as f0, 4 as f1
) tmp;

PAI コマンド

pai -name t_test
    -project algo_public
    -DxTableName=pai_test_input
    -DxColName=f0
    -DyTableName=pai_test_input
    -DyColName=f1
    -DyTablePartitions=ds=2010/dt=1
    -DoutputTableName=pai_t_test_out
    -Dalternative=less
    -Dmu=47
    -DconfidenceLevel=0.95
    -Dpaired=false
    -DvarEqual=true

出力

{
    "AlternativeHypthesis": "difference in means not equals to 0",
    "ConfidenceInterval": "(-2.5465, -0.4535)",
    "ConfidenceLevel": 0.95,
    "alpha": 0.05000000000000004,
    "df": 19,
    "mean of the differences": -1.5,
    "p": 0.008000000000000007,
    "t": -3
}

この例では、p = 0.008 < alpha = 0.05 であるため、平均の差は 95% の信頼度で統計的に有意です。帰無仮説を棄却します。