資料來源配置 - Platform For AI

資料來源配置均為Map[string]object的結構，其中key為自訂名稱，如下面配置中的holo_info、mysql_info，表示對此資料來源的一個唯一性標識，可以在其他配置中引用。

Hologres

Hologres的配置對應配置總覽中的HologresConfs。

配置樣本：

 "HologresConfs": {
      "holo_info": {
        "DSN": "postgres://<UserName>:<Password>@<HOST>/<DATABASENAME>?sslmode=disable&connect_timeout=1"
      }
  }

欄位名	類型	是否必填	描述
DSN	string	是	由user、password、host、db拼接的串連資訊。

重要

其中 UserName 和 Password 需要使用者建立自訂使用者

串連池參數

Hologres 串連池預設配置為最大空閑串連數 50、最大開啟串連數 100。如需調整，可通過以下環境變數覆蓋：

HOLOGRES_MAX_OPEN_CONNS：設定串連池最大開啟串連數，預設值為 100。值必須為正整數，無效值將被忽略並使用預設值。
HOLOGRES_MAX_IDLE_CONNS：設定串連池最大空閑串連數，預設值為 50。值必須為正整數，無效值將被忽略並使用預設值。

引擎服務部署在 PAI-EAS 平台上時，可以在更新服務的表單頁面添加環境變數。或者直接在服務配置 json 的 containers 欄位下的 env 數組中添加以下內容：

    {
        "name": "HOLOGRES_MAX_IDLE_CONNS",
        "value": "100"
    },
    {
        "name": "HOLOGRES_MAX_OPEN_CONNS",
        "value": "200"
    }

說明

大部分情況下不需要調整串連池參數，只有高並發情況下（1000 qps 以上），如果引擎 CPU 佔用低並且hologres 查詢尾部延遲比較高，可以嘗試增大最大串連數。

引擎執行個體數 * 最大串連數應小於 hologres 服務的串連數限制，否則可能導致效能下降。

Kafka

Kafka的配置對應配置總覽中的KafkaConfs。

配置樣本：

"KafkaConfs":{
  "kafka_info": {
    "BootstrapServers":"",
    "Topic":""
  }
}

欄位名	類型	是否必填	描述
BootstrapServers	string	是	Kafka Server串連資訊。
Topic	string	是	Topic名稱。

Redis

Redis的配置對應配置總覽中的RedisConfs。

配置樣本：

"RedisConfs":{
  "redis_info":{
    "Host":"",
    "Port":6379,
    "Password":"",
    "DbNum":0,
    "MaxIdle":0,
    "ConnectTimeout":30,
    "ReadTimeout":50,
    "WriteTimeout":50
  }
}

欄位名	類型	是否必填	描述
Host	string	是	Host資訊。
Port	int	是	Port資訊。
Password	string	是	登入密碼。
DbNum	int	否	Redis資料庫，預設為0 。
MaxIdle	int	否	閑置串連的最大數量。
ConnectTimeout	int	否	連線時間。
ReadTimeout	int	否	讀逾時時間。
WriteTimeout	int	否	寫逾時時間。

Mysql

Mysql的配置對應配置總覽中的MysqlConfs。

配置樣本：

 "MysqlConfs": {
      "mysql_info": {
        "DSN": "<USERNAME>:<PASSWORD>@tcp(<HOST>)/<DATABASENAME>?parseTime=true&loc=Asia%2FShanghai"
      }
  }

欄位名	類型	是否必填	描述
DSN	string	是	由使用者名稱、密碼等拼接成的串連資訊。

Graph

Graph的配置對應配置總覽中的GraphConfs。

配置樣本：

 "GraphConfs": {
      "graph_info": {
         "Host":"",
    	 "UserName":"",
    	 "Passwd":""
      }
  }

欄位名	類型	是否必填	描述
Host	string	是	Host資訊。
UserName	string	是	使用者名稱。
Passwd	string	是	密碼。

FeatureStore（特徵平台）

PAI-FeatureStore的配置對應配置總覽中的FeatureStoreConfs。PAI-FeatureStore如何使用，參考FeatureStore概述。

配置樣本：

 "FeatureStoreConfs": {
      "fs_info": {
         "RegionId":"cn-hangzhou",
    	 "ProjectName":"",
    	 "FeatureDBUsername": "",
         "FeatureDBPassword": "",
         "HologresUsername": "",
         "HologresPassword": ""
      }
  }

欄位名	類型	是否必填	描述
RegionId	string	是	Region資訊，比如cn-hangzhou、cn-beijing等。
ProjectName	string	是	FeatureStore內建立的專案名稱。
FeatureDBUsername	string	否	FeatureDB使用者名稱稱，FeatureStore線上資料庫使用FeatureDB時必填。
FeatureDBPassword	string	否	FeatureDB密碼，FeatureStore線上資料庫使用FeatureDB時必填。
HologresUsername	string	否	Hologres使用者名稱稱，FeatureStore線上資料庫使用Hologres時必填。
HologresPassword	string	否	Hologres使用者密碼，FeatureStore線上資料庫使用Hologres時必填。

SLS

SLS的配置對應配置總覽中的SlsConfs。

配置樣本：

 "SlsConfs": {
      "sls_info": {
    	  "EndPoint":"",
    	  "ProjectName":"",
    	  "LogstoreName":""
      }
  }

欄位名	類型	是否必填	描述
EndPoint	string	是	EndPoint資訊，詳情可參考SLS服務網域名稱。
ProjectName	string	是	專案名稱。
LogstoreName	string	是	日誌庫名稱。

DataHub

DataHub的配置對應配置總覽中的DataHubConfs。

配置樣本：

 "DatahubConfs": {
     "datahub_info": {
         "Endpoint":"",
         "ProjectName":"",
         "TopicName":"",
    	 "Schemas":[]DatahubTopicSchema
      }
  }

欄位名	類型	是否必填	描述
Endpoint	string	是	Endpoint資訊，詳情可參考DataHub網域名稱列表。
ProjectName	string	是	專案名稱。
TopicName	string	是	Topic名稱。
Schemas	[]DatahubTopicSchema	是	Topic的Schema。

DatahubTopicSchema

欄位名	類型	是否必填	描述
Field	string	是	Schema欄位的名稱。
Type	string	是	Schema欄位的類型，有效值為：string、integer、bigint、double、float、timestamp。

OTS(Tablestore)

Tablestore的配置對應配置總覽中的TableStoreConfs。

配置樣本：

 "TableStoreConfs": {
        "tablestore_info": {
            "EndPoint": "",
            "InstanceName": ""
        }
  }

欄位名	類型	是否必填	描述
EndPoint	string	是	EndPoint資訊，詳情可參考Tablestore服務地址。
InstanceName	string	是	執行個體名稱。

OpenSearch

OpenSearch 的配置對應配置總覽中的 OpenSearchConfs

配置樣本：

"OpenSearchConfs": {
    "opensearch_info":{
        "EndPoint": "opensearch-cn-beijing.aliyuncs.com"
    }
}

欄位名	類型	是否必填	描述
EndPoint	string	是	EndPoint 資訊, 詳情可參考OpenSearch服務接入。