MLflow; eğitim çalıştırmalarını izlemek, modelleri yönetmek ve bunları dağıtmak için kullanılan açık kaynaklı bir makine öğrenimi yaşam döngüsü platformudur. Bu konuda, RDS PostgreSQL arka ucuna sahip bir ACK Pro kümesinde model yönetimi için MLflow model kayıt defterinin nasıl yapılandırılacağı açıklanmaktadır.
MLflow model kayıt defterine giriş
Ön koşullar
Kubernetes 1.20 veya sonraki bir sürümle bir ACK Pro cluster oluşturulmuştur.
-
Bir RDS PostgreSQL instance oluşturulmuştur.
ACK kümenizle aynı VPC'yi seçmenizi ve dahili erişim için CIDR bloğunu whitelist öğesine eklemenizi öneririz. RDS örneği ile ACK kümesi farklı VPC'lerde bulunuyorsa genel ağ erişimini etkinleştirin ve ACK kümesi VPC CIDR bloğunu izin listesine ekleyin.
RDS PostgreSQL örneğinde
mlflowadında standart bir account oluşturulmuştur.Model meta verileri için RDS PostgreSQL örneğinde
mlflow_storeadında bir database oluşturulmuştur. Authorized Account değerinimlflowhesabına ayarlayın.(İsteğe bağlı) MLflow kimlik doğrulama verileri için RDS PostgreSQL örneğinde
mlflow_basic_authadında bir database oluşturulmuştur. Authorized Account değerinimlflowhesabına ayarlayın.Arena client (0.9.14 veya sonraki sürüm) yapılandırılmıştır.
Adım 1: MLflow'u bir ACK kümesine dağıtın
ACK console adresine gidin. Sol gezinme bölmesinde Clusters öğesini tıklayın.
Clusters sayfasında kümenizin adını tıklayın. Sol gezinme bölmesinde öğelerini seçin.
-
Deploy öğesini tıklayın. Deploy sayfasında Application Name değerini
mlflowolarak, Namespace değerini isekube-aiolarak ayarlayın. Chart bölümündemlflowdeğerini aratın ve seçin. Next öğesini tıklayın. Chart için varsayılan ad alanı olarak mlflow kullanılıp kullanılmayacağını onaylayın.AI Suite konsolunu kullanmak için varsayılan sürüm adı
mlflowolacak şekildekube-aiad alanında dağıtım yapın.Arena'yı kullanmak için varsayılan sürüm adı
mlflowolacak şekilde herhangi bir ad alanında dağıtım yapın.
-
Create sayfasında Chart parametrelerini yapılandırın.
-
defaultArtifactRootvebackendStoredeğerlerini yapılandırın:trackingServer: # -- Specifies which mode mlflow tracking server run with, available options are `serve-artifacts`, `no-serve-artifacts` and `artifacts-only` mode: no-serve-artifacts # -- Specifies a default artifact location for logging, data will be logged to `mlflow-artifacts/:` if artifact serving is enabled, otherwise `./mlruns` defaultArtifactRoot: "./mlruns" # For more information about how to configure backend store, please visit https://mlflow.org/docs/latest/tracking/backend-stores.html backendStore: # -- Backend store uri e.g. `<dialect>+<driver>://<username>:<password>@<host>:<port>/<database>` backendStoreUri: postgresql+psycopg2://mlflow:<password>@pgm-xxxxxxxxxxxxxx.pg.rds.aliyuncs.com/mlflow_storebackendStore.backendStoreUrideğerinimlflow_storeveritabanınızın uç noktasıyla değiştirin.ÖnemliRDS örneği ile ACK kümesi aynı VPC'deyse dahili uç noktayı kullanın. Aksi takdirde genel uç noktayı kullanın ve ACK kümesinin bu uç noktaya erişebildiğinden emin olun.
RDS PostgreSQL console adresine gidin. Instance ID > Database Connection > Internal/External Endpoint yolunu izleyerek
pgm-xxxxxxxxxxxxxx.pg.rds.aliyuncs.comgibi bir uç nokta alın.Bkz. Connect to a database.
-
(İsteğe bağlı) BasicAuth özelliğini etkinleştirmek için:
trackingServer: # -- Specifies which mode mlflow tracking server run with, available options are `serve-artifacts`, `no-serve-artifacts` and `artifacts-only` mode: no-serve-artifacts # -- Specifies a default artifact location for logging, data will be logged to `mlflow-artifacts/:` if artifact serving is enabled, otherwise `./mlruns` defaultArtifactRoot: "./mlruns" # Basic authentication configuration, # for more information, please visit https://mlflow.org/docs/latest/auth/index.html#configuration basicAuth: # -- Specifies whether to enable basic authentication enabled: true # -- Default permission on all resources, available options are `READ`, `EDIT`, `MANAGE` and `NO_PERMISSIONS` defaultPermission: NO_PERMISSIONS # -- Database location to store permissions and user data e.g. `<dialect>+<driver>://<username>:<password>@<host>:<port>/<database>` databaseUri: postgresql+psycopg2://<username>:<password>@pgm-xxxxxxxxxxxxxx.pg.rds.aliyuncs.com/mlflow_basic_auth # -- Default admin username if the admin is not already created adminUsername: admin # -- Default admin password if the admin is not already created adminPassword: password # -- Function to authenticate requests authorizationFunction: mlflow.server.auth:authenticate_request_basic_auth # For more information about how to configure backend store, please visit https://mlflow.org/docs/latest/tracking/backend-stores.html backendStore: # -- Backend store uri e.g. `<dialect>+<driver>://<username>:<password>@<host>:<port>/<database>` backendStoreUri: postgresql+psycopg2://mlflow:<password>@pgm-xxxxxxxxxxxxxx.pg.rds.aliyuncs.com/mlflow_storetrackingServer.basicAuth.databaseUrideğerinimlflow_basic_authveritabanınızın uç noktasıyla değiştirin.trackingServer.basicAuth.adminUsernamevetrackingServer.basicAuth.adminPassworddeğerlerini MLflow yönetici kimlik bilgilerine ayarlayın. Yönetici hesabı henüz oluşturulmamışsa yeni bir hesap oluşturulur.
Tüm Chart parametreleri MLflow adresinde listelenmiştir.
-
Adım 2: Kubernetes üzerinde dağıtılan MLflow Web kullanıcı arayüzüne erişin
-
MLflow Web kullanıcı arayüzü hizmetini yerel 5000 bağlantı noktasına yönlendirin:
kubectl port-forward -n kube-ai services/mlflow 5000Beklenen çıktı:
Forwarding from 127.0.0.1:5000 -> 5000 Forwarding from [::1]:5000 -> 5000 Handling connection for 5000 Handling connection for 5000 ... -
MLflow Web kullanıcı arayüzünü görüntülemek için http://127.0.0.1:5000 adresine şuraya gidin.
"Kaydedilen çalışma yok" mesajını içeren Default deney sayfası görünür. Bu durum, MLflow'un dağıtıldığını ve çalıştığını doğrular.
Sonraki adım: Model yönetimi
Modelleri AI Suite konsolu veya Arena kullanarak MLflow kayıt defterinde yönetin. Bkz. Manage MLflow registry models using Arena.