Platform For AI：多模態資料管理和使用

3.1.1 開通PAI，建立預設工作空間並擷取空間管理員權限

1. 使用主帳號開通 PAI 並建立工作空間。登入PAI 控制台，左上方選擇開通地區，然後一鍵授權和開通產品。

2. 操作帳號授權。使用主帳號操作時可跳過此步。使用 RAM 帳號時，需要空間管理員角色。操作帳號授權參見配置工作空間 > 成員角色配置。

3.1.2 開通百鍊並建立API Key

開通阿里雲百鍊並建立 API Key，詳情參見擷取API Key。

3.1.3 建立向量資料庫

建立向量資料庫執行個體

多模態資料集管理支援以下阿里雲向量資料庫：

• Elasticsearch（向量增強版，8.17.0版本及以上）

• OpenSearch（向量檢索版）

• Milvus（2.4及以上版本）

• Hologres（4.0.9以上版本）

• Lindorm（向量引擎版本）

各向量資料庫執行個體的建立方法參見對應雲產品文檔。

網路設定以及白名單配置

• 公網方式

  若向量庫執行個體開通了公網地址，將下方 IP 列表添加到執行個體的公網訪問白名單後，多模態資料管理服務即可通過公網訪問此執行個體。Elasticsearch 白名單設定參見配置執行個體公網或私網訪問白名單。

  地區	IP列表
  杭州	47.110.230.142、47.98.189.92
  上海	47.117.86.159、106.14.192.90
  深圳	47.106.88.217、39.108.12.110
  烏蘭察布	8.130.24.177、8.130.82.15
  北京	39.107.234.20、182.92.58.94

• 私網方式

  請提交工單申請。

建立向量索引表（可選）

系統提供自動建立索引表功能，如果您無需自訂建立索引表，可跳過此步驟。

在某些向量資料庫中，向量索引表也稱為Collection或Index。

索引表結構定義（表結構必須遵循如下定義）：

{
    "id":"text",                    //主鍵id，在OpenSearch中需要定義，其他資料庫中預設存在，無需定義
    "index_set_id": "keyword",      //索引集ID，需支援索引
    "file_meta_id": "text",         //檔案中繼資料ID   
    "dataset_id": "text",           //資料集ID
    "dataset_version": "text",      //資料集版本
    "uri": "text",                  //OSS檔案的uri
    "file_vector": {                //向量欄位
        "type": "float",            //向量類型：浮點型
        "dims": 1536,               //向量維度，自訂
        "similarity": "DotProduct"  //向量距離演算法，餘弦距離或點積距離
    }
}

以 Elasticsearch 為例，通過 Python 建立語義索引表（其他類型向量資料庫索引表的建立參見對應雲產品文檔）：

from elasticsearch import Elasticsearch

# 1. 串連阿里雲 Elasticsearch 執行個體，
# 注意：
# (1)需要安裝3.9以上python版本:python3 -V
# (2)elasticsearch用戶端版本需安裝8.x版本:pip show elasticsearch  ！！！！
# (3)如果使用vpc地址，調用方需跟es執行個體的vpc打通。否則使用公網串連地址並配置調用方公網IP到es白名單。
# 預設的userName為 elastic
es_client = Elasticsearch(
    hosts=["http://es-cn-l4p***5z.elasticsearch.aliyuncs.com:9200"],
    basic_auth=("{userName}", "{password}"),
)

# 2. 定義索引名稱和結構，預設採用HNSW索引演算法
index_name = "dataset_embed_test"
index_mapping = {
    "settings": {
        "number_of_shards": 1,          # 表分區數
        "number_of_replicas": 1         # 表副本數
    },
    "mappings": {
        "properties": {
            "index_set_id": {
                "type": "keyword"
            },
            "uri": {
                "type": "text"
            },
            "file_meta_id": {
                "type": "text"
            },
            "dataset_id": {
                "type": "text"
            },
            "dataset_version": {
                "type": "text"  
            },
            "file_vector": {
                "type": "dense_vector",  # 定義file_vector為密集向量類型
                "dims": 1536,  # 向量維度為 1536
                "similarity": "dot_product"  # 相似性計算方法為點積
            }
        }
    }
}

# 3. 建立索引
if not es_client.indices.exists(index=index_name):
    es_client.indices.create(index=index_name, body=index_mapping)
    print(f"Index {index_name} create success！")
else:
    print(f"Index {index_name} existed, do not create repeatedly.")

# 4. 查看建立的索引表結構(可選)
# indexes = es_client.indices.get(index=index_name)
# print(indexes)

3.3.1 建立智能打標模型串連

1. 進入 PAI 工作空間，在左側功能表列單擊AI资产管理 > 连接 > 模型服务 > 新建连接，開啟建立串連頁面。

2. 選擇百炼大模型服务，並配置百鍊api_key。

3. 建立成功後，在列表頁可以看到建立的百鍊大模型服務。

3.3.2 建立語義索引模型串連

1. 如果您使用百鍊語義索引模型服務，可跳過此步驟。在左側功能表列單擊 Model Gallery，找到並部署 GME 多模態檢索模型，得到一個 EAS 服務。部署大約需要 5 分鐘，當處於运行中時，代表部署成功。

   重要

   不再使用該索引模型時，請及時停止和刪除服務，避免持續產生費用。

   可選擇 GME-2B 檢索模型（參數量 2B）或 GME-7B 檢索模型，單擊對應的部署按鈕即可開始部署。

2. 進入 PAI 工作空間，在左側功能表列單擊AI资产管理 > 连接 > 模型服务 > 新建连接，開啟建立串連頁面。

3. 根據您選擇百鍊語義索引模型還是自訂部署的 EAS 語義索引模型，配置模型串連資訊。

   使用百鍊語義索引模型

   • 连接类型：選擇通用多模态Embedding模型服务。

   • 服务提供方：選擇第三方服務模型。

   • 模型名稱：tongyi-embedding-vision-plus。

   • base_url：https://dashscope.aliyuncs.com/api/v1/services/embeddings/multimodal-embedding/multimodal-embedding

   • api_key：擷取API Key並填寫。

   使用自訂部署的EAS語義索引模型

   • 连接类型：選擇通用多模态Embedding模型服务。

   • 服务提供方：選擇PAI-EAS模型服务。

   • EAS服务：選擇剛部署的 GME 多模態檢索模型。服務提供者不在當前帳號下時，可選擇第三方模型服務。

   在彈出的選擇 EAS 服務對話方塊中，選擇狀態為 Running 的目標模型服務。

4. 建立成功後，在列表頁可以看到建立的模型串連服務。

3.3.3 建立向量資料庫連接

1. 在左側功能表列單擊AI资产管理 > 连接 > 数据库 > 新建连接，開啟建立串連頁面。

2. 多模態檢索服務支援 Milvus/Lindorm/OpenSearch/Elasticsearch/Hologres 向量資料庫，以 Elasticsearch 為例建立串連。選擇检索分析服务-Elasticsearch，配置uri、username、password等資訊，詳情參見建立資料庫連接。

   各向量資料庫連結格式參考：

   Milvus

   uri: http://xxx.milvus.aliyuncs.com:19530 
   database: {your_data_base} 
   token: root:{password}

   OpenSearch

   uri: http://xxxx.ha.aliyuncs.com
   username: {username} 
   password: {password}

   Hologres

   host: xxxx.hologres.aliyuncs.com
   database: {your_data_base} 
   port: {port}
   access_key_id={password}

   Elasticsearch

   uri: http://xxxx.elasticsearch.aliyuncs.com:9200
   username: {username} 
   password: {password}

   Lindorm

   uri: xxxx.lindorm.aliyuncs.com:{port}
   username: {username} 
   password: root:{password}

3. 建立成功後，在列表頁可以看到建立的向量資料庫連接。

3.4.1 建立智能標籤定義

在左側功能表列單擊AI资产管理 > 数据集 > 智能标签定义 > 新建智能标签定义，開啟標籤配置頁面，配置樣本如下：

• 引导提示词：作為一個擁有多年駕駛經驗的老司機，你有著非常豐富的高速以及城市道路駕駛經驗。

• 标签定义：

  自動駕駛樣本標籤定義

  {
      "反光貼條": " 通常為黃色，或者黃黑間隔，貼在牆角等永久的突出障礙物上，用於提示車主避讓。為條帶狀，不是錐筒，不是地鎖，不是水馬！",
      "地鎖": "也叫車位鎖，升起時可以阻止車位被佔用。存在地鎖時，務必輸出地鎖為升起還是降下狀態。有升起架子時為升起狀態,否則為降下狀態。",
      "亮燈的工程車": "有左右2個箭頭狀燈光的，並且亮起的，就是目標，否則不存在；",
      "側翻的車輛": "車輛側翻在地；",
      "倒地的水馬": "水馬是一種用於分割路面或形成阻擋的塑制殼體障礙物，一般為紅色塑料牆形態。一般用於道路交通設施，在高速路、城市道路、及天橋街道路口常見。比錐筒顯著大，且為片狀結構。水馬正常為直立，臥倒在地的話需要明確指出。",
      "倒地的錐桶": "又稱錐形交通路標、雪糕筒，俗稱路錐、三角錐，為錐形臨時道路標示。杆狀，片狀的障礙物不是錐筒，因為其不是錐形。錐筒可能被車撞倒，若圖片中存在錐筒，而又需要判斷是否為倒地時，可以觀察錐筒底部（圓錐的錐底）是否與地面接觸，如接觸則不為倒地，否則為倒地。",
      "充電車位": "靠牆且明顯帶著充電槍，充電樁裝置的，或者寫著新能源車位的為充電車位，只可能出現在停車場（室內室外均可能），注意地鎖跟充電無關。",
      "減速帶": "一般為黃黑相間，或者黃色，為橫在路上垂直於路邊緣的窄條突起，用於車輛減速。不可能出現在停車位內。",
      "減速車道線": " 車道兩側魚骨狀虛線，在實線內測，2側均有才為減速車道線。",
      "匝道": "只有明確看到高速路上的大彎道，一般匝道都在高速路幹道的右側，進出收費站才可判定存在。",
      "地面陰影": "地面有明顯的影子的情況。",
      "多雲": "只有可以看到天空，且天空有明顯的雲彩的情況才可判定存在。",
      "炫光的車": "前方燈光發生炫光（燈光由單點變成了線條狀光線）情況，通常在夜晚或者下雨天時導致。",
      "左轉、右轉、迴轉箭頭": "車道地面上所畫的乳白色箭頭標誌（少數為黃色），不是指高速路的綠白色指示道路右彎的綠白箭頭。判斷是否存在這些箭頭時，首先只有車道地面中間的明晰的箭頭標誌才是目標，其他的路邊的等一律不是。若地面存在箭頭，判斷箭頭朝向方法,右轉箭頭為從箭頭根部到箭頭尖部為順時針旋轉；左轉箭頭為從箭頭根部到箭頭尖部為類似逆時針旋轉；U型的箭頭為調頭箭頭。",
      "斑馬線": "僅可能在路面（停車場內也可能），路口存在，一定為白色線條重複間隔分布平行於路邊，用於行人通行。不可能出現在高速路，高速匝道，隧道中。",
      "曝光": " 白天，陽光直射導致鏡頭曝光（只可能發生在白天）。",
      "機動車": "視野中有其他機動車輛。",
      "匯入匯出": " 高速路多條並未一條，或者一條分為多條路的地方。",
      "路口": " 路口，且路口內沒有車道線的情況（指路口段內無，路口之外有沒有影響）。",
      "禁停牌": " 懸掛或者立在地上的牌子，寫著禁止停車文字，或者繪有圓圈包圍的P加斜線的標識。",
      "車道線": " 路上的車道線，尤其關注車道線模糊的情況。",
      "道路上掉落的石頭、輪胎": " 路上的影響通車的障礙物。",
      "隧道": " 進隧道口，出隧道口尤其注意分辨。",
      "雨天地面潮濕": "下雨天地面濕滑情況。",
      "非機動車": "包括單車，電動車，輪椅，單輪車，超市推車等非機動車物體，可能被停放在路邊，車位，行駛在路上等。"
    }

3.4.2 建立智能打標離線任務

1. 單擊自定义数据集，單擊資料集名稱進入詳情頁面，然後再單擊数据集任务。

2. 進入任務頁面，單擊新建任务 > 智能打标，並配置任務參數。

   • 数据集版本：選擇需要打標的版本，如 v1。

   • 智能打标模型连接：選擇建立的百鍊模型串連。

   • 智能打标模型：支援千問 VL-MAX 和千問 VL-Plus。

   • 最大并发数：最大並發數根據 EAS 模型服務規格配置，單卡建議最大並發為 5。

   • 智能标签定义：選擇剛建立的智能標籤定義。

   • 打标模式：支援增量打標和全量打標。

3. 智能打標任務建立成功後，在工作清單可查看打標任務狀態。單擊列表右側連結可查看日誌或停止任務。

   說明

   初次開機智能打標任務，將進行中繼資料的構建，所需時間可能較長，請耐心等待。

3.9.1 匯出為檔案

1. 單擊导出为文件，在配置頁設定匯出內容及目標OSS目錄，單擊确定。

   在匯出配置頁中，匯出內容可選擇文字、圖片、音頻、視頻和人工標籤，匯出類型選擇匯出檔案，並設定匯出路徑為目標 OSS 目錄。

2. 查看匯出進度可通過在左側功能表列單擊AI资产管理 > 任务 > 数据集任务查看。

3. 使用匯出結果。將匯出結果檔案與原資料集掛載至訓練環境（如 DLC 或 DSW 執行個體），通過代碼讀取匯出結果檔案索引，從原資料集中載入目標檔案進行訓練或分析。

3.9.2 匯出至邏輯型資料集版本

將進階型資料集的檢索結果匯入到邏輯型資料集的版本中，後續可通過資料集 SDK 使用該版本資料。

1. 單擊导出至逻辑型数据集版本，選擇目標邏輯型資料集，單擊确认。

   在匯出對話方塊中，選擇目標資料集和基礎型資料集版本，設定匯入範圍（全部檔案或選中檔案），匯入模式可選擇合并覆蓋並勾選需要匯入的標籤類型（智能標籤、人工標籤）。

   如無可選邏輯型資料集，可參考如下內容：

   建立邏輯型資料集

   建立邏輯型資料集。在左側功能表列單擊AI资产管理 > 数据集 > 新建数据集，然後配置如下關鍵參數，其他參數按需配置即可：

   • 数据集类型：選擇逻辑型

   • 元数据OSS路径：選擇一個匯出的OSS路徑

   • 元数据导入方式：選擇稍后导入

   單擊确定建立資料集。

2. 使用邏輯型資料集。匯入任務完成後，目標邏輯型資料集已包含本次匯出的中繼資料，可通過 SDK 載入和使用。在資料集詳情頁可查看 SDK 使用方法。

   from pai_datasets.load import load_dataset
   
   dataset = load_dataset(dataset_id="xxx",
       dataset_version="v1",
       region="cn-hangzhou",
       cache_dir=CACHE_DIR,
       keep_in_memory=True)

   SDK的安裝命令為：

   pip install https://pai-sdk.oss-cn-shanghai.aliyuncs.com/dataset/pai_dataset_sdk-1.0.0-py3-none-any.whl