全部產品
Search
文件中心

Data Management:DMS MLFlow操作指南

更新時間:Jul 25, 2026

本指南詳細說明了如何在阿里雲資料管理工作空間中,建立、配置並使用託管的 MLFlow 服務。DMS MLFlow 為您提供一個安全、穩定、運行在您專用網路內的機器學習實驗跟蹤平台,協助您高效管理模型訓練的中繼資料、參數和指標。

核心架構

  • 服務託管:DMS 負責 MLFlow 執行個體的生命週期管理和底層資源的營運。

  • VPC 原生整合:通過應用型負載平衡將 MLFlow 服務穩定地暴露在您的 VPC 內,確保網路隔離與安全。

  • 按需使用:與 DMS Notebook 等環境無縫整合,按實際計算資源消耗付費。

支援地區

華北2(北京)、華東2(上海)、華東1(杭州)。(當前處於灰階開放階段,具體可用性以控制台入口是否可見為準)

資源準備

在建立 MLFlow 執行個體之前,請確保以下資源已準備就緒。

  • 網路資源

    • 專用網路:準備一個 VPC 網路。

    • 交換器:在該 VPC 內,需準備至少兩個位於不同可用性區域的交換器,以確保服務高可用。

    • 安全性群組:準備一個安全性群組,MLFlow 服務的網路訪問將受此安全性群組的入方向規則管控。

    • 操作步驟:專用網路與交換器、使用安全性群組

  • Object Storage Service

    • 用途:存放模型訓練的產物(如模型檔案、資料集等)。DMS MLFlow 本身僅負責記錄中繼資料(含訓練過程指標資訊和產物儲存位置元資訊等),產物需要儲存到使用者準備的OSS。

    • 操作步驟:建立儲存空間

  • 工作空間

    • 用途:工作空間是DMS的協作單元,DMS MLFlow的建立、管理以及可視化展示均需要在空間內完成。

    • 操作步驟:工作空間準備

  • ALB服務關聯角色

    • 用途:DMS MLFlow通過應用型負載平衡(ALB)提供VPC內訪問。如果您的帳號從未使用過ALB產品,系統中不存在ALB服務關聯角色,將導致MLFlow執行個體建立失敗。

    • 操作步驟:參見建立服務關聯角色,在建立服務關聯角色面板中,產品名稱選擇ALB即可。

建立Notebook

  1. 登入Data Management 5.0。

  2. 在頂部功能表列中,選擇Data + AI > 工作空間,或在極簡模式的控制台,點擊控制台左上方的2023-01-28_15-57-17表徵圖,選擇全部功能 > Data + AI > 工作空間。

  3. 在工作空間列表頁,找到目標空間,點擊ID進入工作空間。

  4. 在工作空間內,找到並進入 Notebook 會話管理頁面。

    image

  5. 點擊建立會話按鈕,在建立會話彈窗中,填寫對應資訊後,點擊完成,去建立按鈕,完成會話的建立。

    image

    參數名稱

    參數說明

    參數樣本

    會話名稱

    Notebook 會話的唯一標識名稱,用於區分不同任務;支援字母、數字、底線,長度建議不超過 64 字元。

    new_session_20250401

    所屬叢集

    指定運行 Notebook 的計算叢集。預設使用 DMS 提供的共用叢集,也可選擇已授權的專屬叢集。

    DMS預設叢集

    鏡像

    運行環境的基礎容器鏡像,包含預裝的 Python 版本及常用 AI/資料科學庫(如 pandas、numpy、dashscope 等)。

    Python3.9:1.0.9

    規格

    分配給 Notebook 執行個體的計算資源,格式為“CPU核心數 + 記憶體大小”。資源越高,處理能力越強,計費也相應增加。

    1C4G(1 核 CPU,4 GB 記憶體)

    開發模式

    控制是否啟用調試與互動增強功能(如自動儲存、熱重載等)。開啟後資源消耗略高,適合開發調試;生產環境推薦關閉。

    關閉 / 開啟

    配置

    預設的運行時配置模板,可包含網路原則、掛載點、安全上下文等。default_profile 為系統預設安全配置。

    default_profile

    資源釋放

    會話空閑自動釋放時間(單位:分鐘)。逾時後執行個體將被回收以節省資源,未儲存的內容可能丟失,請及時持久化。

    1440(即 24 小時)

    資料存放區

    是否掛載持久化儲存卷。選擇“無”表示所有資料僅儲存在臨時容器中,重啟後丟失;如需持久化,請綁定 OSS 或 NAS。

    無 / oss://my-bucket/notebook

    Pypi管理組件

    額外安裝的 Python 第三方包列表(通過 pip 安裝)。多個包用逗號分隔,支援指定版本(如 dashscope==1.19.0)。

    無 / dashscope, pandas==2.1.0

    環境變數

    自訂運行時環境變數,常用於配置 API Key、地區、記錄層級等。格式為 KEY=VALUE,多組用換行或分號分隔。

    無 / DASHSCOPE_API_KEY=sk-xxx

  6. 在Notebook會話列表,點擊目標會話操作列的啟動按鈕,完成會話的啟動。

建立並配置 MLFlow 執行個體

建立 MLFlow 執行個體

  1. 在 DMS 工作空間內,找到並進入 MLFlow 管理頁面。

    image

  2. 點擊建立執行個體按鈕,在彈出的設定精靈中填寫以下資訊:

    image

    參數名稱

    參數說明

    參數樣本

    執行個體名稱

    MLFlow執行個體的名稱

    my-mlflow

    執行個體描述

    MLFlow執行個體的描述

    Description of my MLFlow.

    VPC

    選擇使用的專用網路,預設選中為當前工作空間的專用網路。不同專用網路的Notebook和MLFlow執行個體之間無法互相聯通。

    vpc-fs******4a

    交換器

    選擇主交換器。MLFlow資源和負載平衡會分別在該交換器佔用一個IP,請確保交換器下可用IP充足。

    vsw-sg******7h

    備交換器

    選擇備交換器,該交換器用於提供負載平衡的高可用能力,負載平衡會在該交換器佔用一個IP,請確保交換器下可用IP充足。備交換器必須和主交換器在不同的可用性區域,不然會導致MLFlow建立失敗。

    vsw-hq******v9

    安全性群組

    選擇安全性群組。MLFlow的使用者側網路會受到該安全性群組的管控。請保證該安全性群組允許源IP(如Notebook IP)的訪問,不然可能導致無法連通MLFlow執行個體。只能選擇普通安全性群組,使用託管安全性群組會導致MLFlow執行個體建立失敗。

    sg-zb******iq

    OSS Bucket

    阿里雲OSS儲存桶名稱。若您在建立實驗的時候沒有指定Artifact Root,DMS MLFlow會預設使用 oss://OSS Bucket/OSS路徑作為Artifact Root。

    my-bucket

    OSS路徑

    阿里雲OSS儲存路徑。若您在建立實驗的時候沒有指定Artifact Root,DMS MLFlow會預設使用 oss://OSS Bucket/OSS路徑作為Artifact Root。

    mlflow-root

  3. 確認資訊無誤後,點擊確定。執行個體的建立過程需要幾分鐘,請耐心等待其狀態變為運行中。

    重要

    若執行個體長時間未進入運行中狀態或提示部署失敗(無報錯或建立進度停滯),請按以下檢查項逐一排查:

    • ALB 服務關聯角色:確認當前帳號已建立 ALB 服務關聯角色。若帳號從未使用過 ALB,請先參見建立服務關聯角色,在建立服務關聯角色面板中產品名稱選擇ALB完成建立,否則 MLFlow 執行個體將建立失敗。

    • 交換器可用 IP:檢查主交換器和備交換器的可用 IP 數量,建議各保留至少 10 個空閑 IP。IP 不足將導致 ALB 無法建立,進而造成 MLFlow 部署失敗。

    • 安全性群組入方向規則:確認安全性群組入方向已開放 80 連接埠,且允許 VPC 網段訪問。

    • 跨可用性區域:確認主交換器和備交換器分別位於不同的可用性區域,同一可用性區域將導致 MLFlow 建立失敗。

    MLFlow 後端依賴 RDS 資料庫執行個體,該執行個體由系統在建立時自動初始化,無需手動操作;釋放 MLFlow 執行個體時,系統也會自動釋放對應的 RDS 執行個體。由於建立流程包含 RDS 資料庫初始化,完整的執行個體建立過程通常需要十幾分鐘,請耐心等候狀態變為運行中後再使用。

  4. 在操作列中有多個按鈕,分別對應以下功能:

    • 編輯:可以對名稱和描述進行修改。

    • 開啟:在內嵌頁面中即可查看mlflow頁面。

      image

    • VPC地址:VPC地址是通過ALB在使用者VPC內打通的穩定IP。點擊複製表徵圖可複製穩定IP地址。兩個地址中的任意一個都可以作為MLFlow的後端伺服器,連接埠為80(即通過地址可以直接存取)即可在同一個VPC內訪問Mlflow。

    • 重新部署:目前暫不支援此操作。

    • 釋放:釋放後會在後台銷毀對應的資料庫以及Mlflow計算執行個體。

配置 ALB 存取控制

為保證網路安全,MLFlow 執行個體關聯的 ALB 預設拒絕所有訪問。您必須手動設定存取控制策略,否則無法從 VPC 內訪問。

  1. 在 MLFlow 執行個體詳情頁面,複製執行個體 ID。

  2. 前往 ALB 控制台,注意選擇與 MLFlow 執行個體相同的地區,在左側導覽列選擇執行個體。

  3. 在執行個體頁面中,使用執行個體 ID 作為關鍵詞搜尋,找到對應的 ALB 執行個體。

    image

  4. 點擊執行個體 ID,進入執行個體詳情頁,然後切換到監聽頁簽。

    image

  5. 找到 80 連接埠對應的監聽器,在目標操作列,點擊查看詳情按鈕。

  6. 在監聽詳情頁簽的存取控制模組,點擊存取控制策略組的id。

    image

  7. 在條目頁簽中,點擊添加條目按鈕,配置允許訪問的來源。推薦配置您的 VPC 網段(例如 192.168.0.0/16),或更精確地指定 Notebook 所在網段,以允許來自這些網段的訪問。

    image


在 Notebook 中整合和使用 MLFlow

在使用之前,請檢查並確認您的 MLFlow 執行個體已建立完畢,同時 ALB 的存取控制也已設定完成,能夠允許 Notebook 環境正常訪問 MLFlow 服務。

  • 建立檔案:在資源管理員的CODE地區按右鍵,然後選擇建立 Notebook 檔案。

    image

  • 安裝mlflow python sdk:在建立的Notebook檔案執行框中,輸入!pip install mlflow命令後,點擊運行按鈕。

    image

  • 編寫訓練代碼:在代碼中,使用從 MLFlow 執行個體詳情頁擷取的VPC 地址來替換SERVER_URL。

    import mlflow
    import mlflow.sklearn
    from sklearn import datasets
    from sklearn.model_selection import train_test_split
    from sklearn.ensemble import RandomForestClassifier
    from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
    import pandas as pd
    
    def main():
        # 設定遠程跟蹤 URI(僅用於記錄 metadata)
        mlflow.set_tracking_uri("SERVER_URL")
        # 設定 MLflow 實驗名稱
        mlflow.set_experiment("Iris Classification")
        
        # 載入 Iris 資料集
        iris = datasets.load_iris()
        X = iris.data
        y = iris.target
        
        # 建立特徵名稱的 DataFrame(可選,便於記錄)
        feature_names = iris.feature_names
        target_names = iris.target_names
        
        # 劃分訓練集和測試集
        X_train, X_test, y_train, y_test = train_test_split(
            X, y, test_size=0.2, random_state=42, stratify=y
        )
        
        # 定義超參數
        n_estimators = 100
        max_depth = 3
        random_state = 42
        
        # 開始 MLflow 運行
        with mlflow.start_run(run_name="RandomForest_Iris"):
            # 記錄超參數
            mlflow.log_param("n_estimators", n_estimators)
            mlflow.log_param("max_depth", max_depth)
            mlflow.log_param("random_state", random_state)
            mlflow.log_param("test_size", 0.2)
            
            # 建立並訓練模型
            model = RandomForestClassifier(
                n_estimators=n_estimators,
                max_depth=max_depth,
                random_state=random_state
            )
            model.fit(X_train, y_train)
            
            # 進行預測
            y_pred = model.predict(X_test)
            
            # 計算評估指標
            accuracy = accuracy_score(y_test, y_pred)
            precision = precision_score(y_test, y_pred, average='weighted')
            recall = recall_score(y_test, y_pred, average='weighted')
            f1 = f1_score(y_test, y_pred, average='weighted')
            
            # 記錄評估指標
            mlflow.log_metric("accuracy", accuracy)
            mlflow.log_metric("precision", precision)
            mlflow.log_metric("recall", recall)
            mlflow.log_metric("f1_score", f1)
            
            # 記錄特徵名稱和目標名稱作為標籤
            mlflow.set_tag("features", ", ".join(feature_names))
            mlflow.set_tag("targets", ", ".join(target_names))
            mlflow.set_tag("algorithm", "RandomForestClassifier")
            
            print(f"Model trained successfully!")
            print(f"Accuracy: {accuracy:.4f}")
            print(f"Precision: {precision:.4f}")
            print(f"Recall: {recall:.4f}")
            print(f"F1 Score: {f1:.4f}")
    
            # 記錄模型
            mlflow.sklearn.log_model(model, "iris_model")
            
            # 擷取當前運行資訊
            run_id = mlflow.active_run().info.run_id
            experiment_id = mlflow.active_run().info.experiment_id
            print(f"Run ID: {run_id}")
            print(f"Experiment ID: {experiment_id}")
    
    if __name__ == "__main__":
        main()
    

常見問題

  • Q:為什麼無法通過 IP 位址訪問 DMS MLFlow ?
    A:請按以下順序排查:

    1. 存取控制:確認已在 ALB 的存取控制策略中,添加了允許您當前裝置或 Notebook 網段訪問的規則。

    2. 安全性群組:確認 MLFlow 執行個體關聯的安全性群組入方向規則已放通了來自您訪問源 IP 的 80 連接埠。

    3. 網路連通性:確認您的訪問環境(如本地 PC、ECS)與 MLFlow 執行個體所在的 VPC 網路是連通的(例如通過 VPN、雲企業網等)。

  • Q:我訓練好的模型檔案儲存在哪裡了?
    A:DMS MLFlow 本身不負責儲存模型檔案等二進位產物。您配置的阿里雲OSS桶和路徑會成為預設Artifact Root,您也可以在建立實驗的時候顯式指定Artifact Root。您需要自行配置憑證以保證工件的上傳。若您使用阿里雲OSS作為工件儲存,推薦使用MLFlow外掛程式:https://mlflow.org/docs/latest/ml/plugins/#storage--persistence

  • Q:釋放 DMS MLFlow 執行個體後,關聯的 ALB 和 RDS 資源會自動刪除嗎?
    A:視情況而定:

    • 正常情況:釋放 MLFlow 執行個體後,系統會自動清理並釋放其關聯建立的 ALB 執行個體及後端 RDS 資料庫執行個體,無需手動刪除。

    • 異常情況:若遇到釋放後 ALB 未自動清理且手動刪除時報錯的情況,屬於底層資源殘留異常,請提交工單聯絡阿里雲支援人員協助處理。

  • Q:DMS MLFlow 是否支援公網訪問?如何配置?
    A:出於資料安全考慮,不建議直接通過公網訪問 MLFlow 服務,推薦在 VPC 內使用。若業務必須通過公網訪問,可按以下方式配置:

    • 配置方法:前往 NAT Gateway控制台,添加 DNAT 條目,將公網 IP 的指定連接埠(如 80 連接埠)映射到 MLFlow 執行個體關聯的內網 ALB IP 及對應連接埠,即可通過公網 IP 訪問 MLFlow 服務。

    • 安全提示:公網暴露會增加安全風險,請務必配合嚴格的安全性群組策略和存取控制白名單使用,避免未授權訪問。