建立資料管道 - Object Storage Service

通過 do-data-pipe-line-action 命令發送 putDataPipelineConfiguration 操作，建立一條資料管道（DataPipeline）規則。規則建立後，OSS 自動調用您的阿里雲百鍊對源 Bucket 中的未經處理資料進行向量化並寫入向量 Bucket。

命令格式

ossutil api do-data-pipe-line-action --action putDataPipelineConfiguration \
  --parameters dataPipelineName=my-data-pipeline \
  --parameters role=acs:ram::<AccountId>:role/my-data-pipeline-role \
  --body file://config.xml \
  --region cn-hangzhou

參數說明

參數	類型	說明
--action	string	要發送的資料管道操作名稱。
--parameters	stringArray	請求的查詢參數，k=v 格式，可重複指定。例如 dataPipelineName=my-data-pipeline、role=acs:ram::<AccountId>:role/my-data-pipeline-role。
--body	string	請求體內容，file:// 表示從檔案讀取（僅 putDataPipelineConfiguration 需要，內容為 DataPipelineConfiguration XML）。
--region	string	Bucket 所在地區，例如 cn-hangzhou。
-i, --access-key-id / -k, --access-key-secret	string	訪問 OSS 使用的 AccessKey ID 與 Secret（也可通過 ossutil config 預先配置）。

關於支援的全域命令列選項，請參見 ossutil 支援的全域命令列選項。

使用樣本

先將資料管道配置寫入 config.xml：

<?xml version="1.0" encoding="UTF-8" ?>
<DataPipelineConfiguration>
  <Sources>
      <InputBucket>my-bucket</InputBucket>
      <InputDataScope>All</InputDataScope>
  </Sources>
  <DataPipelineEmbeddingConfiguration>
      <EmbeddingProvider>bailian</EmbeddingProvider>
      <ApiKey>sk-xxxx</ApiKey>
      <Model>qwen2.5-vl-embedding</Model>
  </DataPipelineEmbeddingConfiguration>
  <Destination>
      <VectorBucketName>my-vector-bucket</VectorBucketName>
      <VectorIndexNames>my-index</VectorIndexNames>
  </Destination>
  <DataPipelineError>
      <ErrorMode>ignore</ErrorMode>
  </DataPipelineError>
</DataPipelineConfiguration>

再執行命令建立資料管道：

ossutil api do-data-pipe-line-action --action putDataPipelineConfiguration \
  --parameters dataPipelineName=my-data-pipeline \
  --parameters role=acs:ram::<AccountId>:role/my-data-pipeline-role \
  --body file://config.xml \
  --region cn-hangzhou