AnalyticDB:機械学習ユーザーガイド

この例では、pgml.breast_cancer データセットを用いて乳癌検出モデルをトレーニングし、予測を実行して複数のアルゴリズムを比較します。

\timing on

-- ステップ 1：データセットの読み込み
SELECT pgml.load_dataset('breast_cancer');

-- データの確認
SELECT * FROM pgml.breast_cancer LIMIT 10;

-- ステップ 2：ベースラインモデルのトレーニング
SELECT * FROM pgml.train('乳癌検出', 'classification', 'pgml.breast_cancer', 'malignant');

-- ステップ 3：デプロイ済みモデルを使用した予測の実行
SELECT malignant, pgml.predict(
    '乳癌検出',
    (
        "mean radius", "mean texture", "mean perimeter", "mean area",
        "mean smoothness", "mean compactness", "mean concavity",
        "mean concave points", "mean symmetry", "mean fractal dimension",
        "radius error", "texture error", "perimeter error", "area error",
        "smoothness error", "compactness error", "concavity error",
        "concave points error", "symmetry error", "fractal dimension error",
        "worst radius", "worst texture", "worst perimeter", "worst area",
        "worst smoothness", "worst compactness", "worst concavity",
        "worst concave points", "worst symmetry", "worst fractal dimension"
    )
) AS prediction
FROM pgml.breast_cancer
LIMIT 10;

-- 予測されたラベルではなく、クラス確率を取得
SELECT malignant, pgml.predict_proba(
    '乳癌検出',
    ARRAY[
        "mean radius", "mean texture", "mean perimeter", "mean area",
        "mean smoothness", "mean compactness", "mean concavity",
        "mean concave points", "mean symmetry", "mean fractal dimension",
        "radius error", "texture error", "perimeter error", "area error",
        "smoothness error", "compactness error", "concavity error",
        "concave points error", "symmetry error", "fractal dimension error",
        "worst radius", "worst texture", "worst perimeter", "worst area",
        "worst smoothness", "worst compactness", "worst concavity",
        "worst concave points", "worst symmetry", "worst fractal dimension"
    ]
) AS prediction
FROM pgml.breast_cancer
LIMIT 10;

-- 初期トレーニング後、省略されたパラメーターは前回の実行から再利用されます。
-- 以下の呼び出しでは、上記のトレーニングデータスナップショットが再利用されます。

-- 線形モデル
SELECT * FROM pgml.train('乳癌検出', algorithm => 'ridge');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'stochastic_gradient_descent');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'perceptron');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'passive_aggressive');

-- サポートベクターマシン
SELECT * FROM pgml.train('乳癌検出', algorithm => 'svm');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'nu_svm');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'linear_svm');

-- アンサンブル
SELECT * FROM pgml.train('乳癌検出', algorithm => 'ada_boost');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'bagging');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'extra_trees', hyperparams => '{"n_estimators": 10}');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'gradient_boosting_trees', hyperparams => '{"n_estimators": 10}');
SELECT * FROM pgml.train('乳癌検出', algorithm => 'random_forest', hyperparams => '{"n_estimators": 10}');

-- 勾配ブースティング
SELECT * FROM pgml.train('乳癌検出', algorithm => 'xgboost', hyperparams => '{"n_estimators": 10}');

-- F1 スコアで上位のモデルを確認
SELECT trained_models.* FROM pgml.trained_models
JOIN pgml.models ON models.id = trained_models.id
ORDER BY models.metrics->>'f1' DESC LIMIT 5;

-- 特定のアルゴリズムをデプロイ
SELECT * FROM pgml.deploy('乳癌検出', 'most_recent', 'random_forest');

-- デプロイ済みモデルの確認
SELECT * FROM pgml.deployed_models ORDER BY deployed_at DESC LIMIT 5;

-- XGBoost に対するハイパーパラメーター探索の実行
SELECT pgml.train(
    '乳癌検出',
    algorithm => 'xgboost',
    search => 'grid',
    search_params => '{
        "n_estimators": [2, 4],
        "max_depth": [1, 2, 3]
    }'
);

-- 異なる戦略によるデプロイメント
SELECT * FROM pgml.deploy('乳癌検出', 'best_score');
SELECT * FROM pgml.deploy('乳癌検出', 'most_recent');
SELECT * FROM pgml.deploy('乳癌検出', 'rollback');
SELECT * FROM pgml.deploy('乳癌検出', 'best_score', 'svm');

-- 再デプロイ後の予測の確認
SELECT malignant, pgml.predict(
    '乳癌検出',
    (
        "mean radius", "mean texture", "mean perimeter", "mean area",
        "mean smoothness", "mean compactness", "mean concavity",
        "mean concave points", "mean symmetry", "mean fractal dimension",
        "radius error", "texture error", "perimeter error", "area error",
        "smoothness error", "compactness error", "concavity error",
        "concave points error", "symmetry error", "fractal dimension error",
        "worst radius", "worst texture", "worst perimeter", "worst area",
        "worst smoothness", "worst compactness", "worst concavity",
        "worst concave points", "worst symmetry", "worst fractal dimension"
    )
) AS prediction
FROM pgml.breast_cancer
LIMIT 10;

この例では、糖尿病進行度モデルをトレーニングし、複数のアルゴリズムを比較します。

-- ステップ 1：データセットの読み込み
SELECT pgml.load_dataset('diabetes');

-- データの確認
SELECT * FROM pgml.diabetes LIMIT 10;

-- ステップ 2：ベースラインモデルのトレーニング
SELECT * FROM pgml.train('糖尿病進行度', 'regression', 'pgml.diabetes', 'target');

-- ステップ 3：予測の実行
SELECT target, pgml.predict('糖尿病進行度', (age, sex, bmi, bp, s1, s2, s3, s4, s5, s6)) AS prediction
FROM pgml.diabetes
LIMIT 10;

-- 特定のモデル ID に対する予測の確認
SELECT model_id, target, pgml.predict(model_id, (age, sex, bmi, bp, s1, s2, s3, s4, s5, s6)) AS prediction
FROM pgml.diabetes
CROSS JOIN LATERAL (
    SELECT pgml.models.id AS model_id FROM pgml.models
    INNER JOIN pgml.projects
    ON pgml.models.project_id = pgml.projects.id
    WHERE pgml.projects.name = '糖尿病進行度'
    LIMIT 1
) models
LIMIT 10;

-- 初期トレーニング後、省略されたパラメーターは前回の実行から再利用されます。

-- 線形モデル
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'ridge');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'lasso');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'elastic_net');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'least_angle');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'lasso_least_angle');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'orthogonal_matching_pursuit');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'bayesian_ridge');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'automatic_relevance_determination');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'stochastic_gradient_descent');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'passive_aggressive');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'ransac');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'theil_sen', hyperparams => '{"max_iter": 10, "max_subpopulation": 100}');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'huber');

-- サポートベクターマシン
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'svm', hyperparams => '{"max_iter": 100}');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'nu_svm', hyperparams => '{"max_iter": 10}');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'linear_svm', hyperparams => '{"max_iter": 100}');

-- アンサンブル
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'ada_boost', hyperparams => '{"n_estimators": 5}');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'bagging', hyperparams => '{"n_estimators": 5}');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'extra_trees', hyperparams => '{"n_estimators": 5}');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'gradient_boosting_trees', hyperparams => '{"n_estimators": 5}');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'random_forest', hyperparams => '{"n_estimators": 5}');

-- 勾配ブースティング
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'xgboost', hyperparams => '{"n_estimators": 10}');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'catboost', hyperparams => '{"n_estimators": 10}');

-- 実行時間の比較
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'linear', runtime => 'python');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'linear', runtime => 'rust');
SELECT * FROM pgml.train('糖尿病進行度', algorithm => 'xgboost', runtime => 'rust', hyperparams => '{"n_estimators": 10}');

-- 平均二乗誤差で上位のモデルを確認
SELECT trained_models.* FROM pgml.trained_models
JOIN pgml.models ON models.id = trained_models.id
ORDER BY models.metrics->>'mean_squared_error' DESC LIMIT 5;

-- デプロイおよび確認
SELECT * FROM pgml.deploy('糖尿病進行度', 'most_recent', 'random_forest');
SELECT * FROM pgml.deployed_models ORDER BY deployed_at DESC LIMIT 5;

-- ハイパーパラメーター探索
SELECT pgml.train(
    '糖尿病進行度',
    algorithm => 'xgboost',
    hyperparams => '{"eval_metric": "rmse"}'::JSONB,
    search => 'grid',
    search_params => '{
        "max_depth": [1, 2],
        "n_estimators": [20, 40]
    }'
);

-- 異なる戦略によるデプロイメント
SELECT * FROM pgml.deploy('糖尿病進行度', 'best_score');
SELECT * FROM pgml.deploy('糖尿病進行度', 'most_recent');
SELECT * FROM pgml.deploy('糖尿病進行度', 'rollback');
SELECT * FROM pgml.deploy('糖尿病進行度', 'best_score', 'svm');

-- 再デプロイ後の予測の確認
SELECT target, pgml.predict('糖尿病進行度', (age, sex, bmi, bp, s1, s2, s3, s4, s5, s6)) AS prediction
FROM pgml.diabetes
LIMIT 10;

この例では、pgml.digits データセットを用いて手書き数字画像をクラスタリングします。教師なし学習のために単一の配列特徴列を使用する方法を示します。

pgml.digits データセットは、UCI ML 手書き数字データセット から派生しています。

\timing on

-- ステップ 1：データセットの読み込み
SELECT pgml.load_dataset('digits');

-- 教師なし学習用のラベルなしビューを作成
CREATE VIEW pgml.digit_vectors AS
SELECT image FROM pgml.digits;

-- データの確認
SELECT left(image::text, 40) || ',...}' FROM pgml.digit_vectors LIMIT 10;

-- ステップ 2：k 平均法クラスタリングモデルのトレーニング
SELECT * FROM pgml.train('手書き数字クラスター', 'clustering', 'pgml.digit_vectors', hyperparams => '{"n_clusters": 10}');

-- ステップ 3：クラスター割り当ての確認
SELECT target, pgml.predict('手書き数字クラスター', image) AS prediction
FROM pgml.digits
LIMIT 10;

-- 他のクラスタリングアルゴリズムの試行
SELECT * FROM pgml.train('手書き数字クラスター', algorithm => 'affinity_propagation');
SELECT * FROM pgml.train('手書き数字クラスター', algorithm => 'birch', hyperparams => '{"n_clusters": 10}');
SELECT * FROM pgml.train('手書き数字クラスター', algorithm => 'kmeans', hyperparams => '{"n_clusters": 10}');
SELECT * FROM pgml.train('手書き数字クラスター', algorithm => 'mini_batch_kmeans', hyperparams => '{"n_clusters": 10}');

この例では、主成分分析（PCA）を用いて 64 次元の手書き数字画像ベクターを次元削減します。

\timing on

-- ステップ 1：データセットの読み込み
SELECT pgml.load_dataset('digits');

-- データの確認
SELECT left(image::text, 40) || ',...}', target FROM pgml.digits LIMIT 10;

-- ラベルなしの画像ベクターのビューを作成
CREATE VIEW digit_vectors AS
SELECT image FROM pgml.digits;

-- ステップ 2：PCA 分解モデルのトレーニング
SELECT * FROM pgml.train('手書き数字の次元削減', 'decomposition', 'digit_vectors');

-- ステップ 3：分解済みベクターの確認
SELECT target, pgml.decompose('手書き数字の次元削減', image) AS pca
FROM pgml.digits
LIMIT 10;

-- 3 成分に削減
-- 初期トレーニング後、省略されたパラメーターは前回の実行から再利用されます。
SELECT * FROM pgml.train('手書き数字の次元削減', hyperparams => '{"n_components": 3}');

-- 削減済みベクターの確認
SELECT target, pgml.decompose('手書き数字の次元削減', image) AS pca
FROM pgml.digits
LIMIT 10;

-- 累積寄与率で上位のモデルを確認
SELECT trained_models.* FROM pgml.trained_models
JOIN pgml.models ON models.id = trained_models.id
ORDER BY models.metrics->>'cumulative_explained_variance' DESC LIMIT 5;

-- PCA モデルのデプロイ
SELECT * FROM pgml.deploy('手書き数字の次元削減', 'most_recent', 'pca');
SELECT * FROM pgml.deployed_models ORDER BY deployed_at DESC LIMIT 5;

-- デプロイメント戦略の切り替え
SELECT * FROM pgml.deploy('手書き数字の次元削減', 'best_score');
SELECT * FROM pgml.deploy('手書き数字の次元削減', 'most_recent');
SELECT * FROM pgml.deploy('手書き数字の次元削減', 'rollback');
SELECT * FROM pgml.deploy('手書き数字の次元削減', 'best_score', 'pca');

-- 再デプロイ後の予測の実行
SELECT target, pgml.predict('手書き数字の次元削減', image) AS prediction
FROM pgml.digits
LIMIT 10;