本文介紹通過Python SDK使用SQL獨享版的程式碼範例。
前提條件
您已完成以下操作:
背景資訊
Log Service提供SQL獨享版,用於增強SQL分析能力,支援千億行資料的計算。更多資訊,請參見開啟SQL獨享版。
Log Service提供execute_logstore_sql介面和execute_project_sql介面,協助您更簡單地使用SQL獨享版。
execute_logstore_sql介面:在指定Logstore中使用SQL獨享版。該介面支援的查詢和分析文法相容標準的SQL92文法,格式為
查詢語句|分析語句,其中分析語句採用標準的SQL92文法。execute_project_sql介面:在指定Project中使用SQL獨享版。該介面支援的查詢和分析文法為標準的SQL92文法,即您的過濾條件和查詢時間要寫在SQL分析語句的WHERE語句中。
如果您執行分析操作時,需要先過濾一部分資料再分析,建議您使用查詢語句|分析語句文法,效率更高,即推薦使用execute_logstore_sql介面。
使用SQL獨享版的程式碼範例
介面說明
execute_logstore_sql介面
調用execute_logstore_sql介面使用SQL獨享版,格式為
res = client.execute_logstore_sql(project, logstoreName, from, to, query, powerSql),各個參數說明如下表所示。參數名稱
類型
是否必選
樣本
說明
project_name
String
是
不涉及
Project名稱。
在建立Client時,已定義project_name,此處無需配置。
logstore_name
String
是
不涉及
Logstore名稱。
在建立Client時,已定義logstore_name,此處無需配置。
from
Long
是
int(time.time() - 60)
查詢起始時間。Unix時間戳記格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。
to
Long
是
int(time.time())
查詢結束時間點。Unix時間戳記格式,表示從1970-1-1 00:00:00 UTC計算起的秒數。
query
String
是
"* | select count(1) as cnt"
Log Service查詢和分析語句,格式為
查詢語句|分析語句。更多資訊,請參見基本文法。Log Service預設返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多資訊,請參見LIMIT子句。
powerSql
Boolean
否
True
是否使用SQL獨享版。更多資訊,請參見開啟SQL獨享版。
True:使用SQL獨享版。
False(預設值):使用SQL普通版。
execute_project_sql介面
調用execute_project_sql介面使用SQL獨享版,格式為
res = client.execute_project_sql(project, query, powerSql),各個參數說明如下表所示。參數名稱
類型
是否必選
樣本
說明
project_name
String
是
aliyun-test-project
Project名稱。
在建立Client時,已定義project_name,此處無需配置。
query
String
是
"select count(1) as cnt from %s where __time__ > %s" % (logstore_name, int(time.time() - 60))
標準的SQL語句,即您的查詢語句要寫在SQL分析語句的WHERE子句中。
Log Service預設返回100行結果,您也可以使用LIMIT子句指定返回結果的行數。更多資訊,請參見LIMIT子句。
powerSql
Boolean
否
True
是否使用SQL獨享版。更多資訊,請參見開啟SQL獨享版。
True:使用SQL獨享版。
False(預設值):使用SQL普通版。
程式碼範例
更多資訊,請參見Aliyun Log Python SDK。
# encoding: utf-8
from __future__ import print_function
import time
import os
from aliyun.log import *
def main():
# Log Service的服務存取點。此處以杭州為例,其它地區請根據實際情況填寫。
endpoint = 'cn-hangzhou.log.aliyuncs.com'
# 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# Project名稱。
project_name = 'aliyun-test-project'
# Logstore名稱。
logstore_name = 'aliyun-test-logstore'
# 建立Log ServiceClient。
client = LogClient(endpoint, access_key_id, access_key)
# 在指定的Logstore內執行SQL分析。
print("===sample_execute_logstore_sql===")
res = client.execute_logstore_sql(project_name, logstore_name,
int(time.time() - 60),int(time.time()),
"* | select count(1) as cnt",True)
# 列印計算結果的統計資訊。
res.log_print()
# 處理的日誌行數。
print("processed_rows: %s" % res.get_processed_rows())
# SQL分析執行的時間長度。
print("elapsed_mills: %s" % res.get_elapsed_mills())
# 是否使用了SQL語句。
print("has_sql: %s" % res.get_has_sql())
# 豎線(|)前的WHERE語句。
print("where_query: %s" % res.get_where_query())
# 豎線(|)後的SELECT彙總計算語句。
print("agg_query: %s" % res.get_agg_query())
# 開啟SQL獨享版後,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多資訊,請參見計費項目。
print("cpu_sec: %s" % res.get_cpu_sec())
# 開啟SQL獨享版後,執行SQL分析所使用的CPU核心數。
print("cpu_cores: %s" % res.get_cpu_cores())
# 在指定的Project內執行SQL分析。
print("===sample_execute_project_sql===")
res = client.execute_project_sql(project_name,"select count(1) as cnt from %s where __time__ > %s"
% (logstore_name, int(time.time() - 60)),True)
# 列印計算結果的統計資訊。
res.log_print()
# 處理的日誌行數。
print("processed_rows: %s" % res.get_processed_rows())
# SQL分析執行的時間長度。
print("elapsed_mills: %s" % res.get_elapsed_mills())
# 是否使用了SQL語句。
print("has_sql: %s" % res.get_has_sql())
# 豎線(|)前的WHERE語句。
print("where_query: %s" % res.get_where_query())
# 豎線(|)後的SELECT彙總計算語句。
print("agg_query: %s" % res.get_agg_query())
# 開啟SQL獨享版後,執行SQL分析所花費的CPU時間,單位為秒。SQL獨享版按照CPU時間計費,更多資訊,請參見計費項目。
print("cpu_sec: %s" % res.get_cpu_sec())
# 開啟SQL獨享版後,執行SQL分析所使用的CPU核心數。
print("cpu_cores: %s" % res.get_cpu_cores())
if __name__ == '__main__':
main()建立、更新和擷取SQL Instance的程式碼範例
開啟SQL獨享版後,您還可以建立SQL Instance,用於指定SQL獨享版CU數。Log Service通過SQL獨享版的CU數來控制SQL獨享版的費用。計費相關資訊,請參見計費資訊。程式碼範例如下,更多資訊,請參見Aliyun Log Python SDK。
# encoding: utf-8
from __future__ import print_function
import time
import os
from aliyun.log import *
def main():
# Log Service的服務入口。更多資訊,請參見服務入口。此處以杭州為例,其它地區請根據實際情況填寫。
endpoint = 'cn-hangzhou.log.aliyuncs.com'
# 本樣本從環境變數中擷取AccessKey ID和AccessKey Secret。
access_key_id = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
access_key = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# Project名稱。
project_name = 'aliyun-test-project'
# Logstore名稱。
logstore_name = 'aliyun-test-logstore'
# 建立Log ServiceClient。
client = LogClient(endpoint, access_key_id, access_key)
# 建立SQL Instance配置,支援配置SQL獨享版CU數。CU數的取值範圍為0~1000。
print("===sample_create_sql_instance===")
res = client.create_sql_instance(project_name, 500)
res.log_print()
# 更新SQL Instance配置,支援更新SQL獨享版CU數。CU數的取值範圍為0~1000。
print("===sample_update_sql_instance===")
res = client.update_sql_instance(project_name, 800)
res.log_print()
# 擷取SQL Instance配置。
print("===sample_list_sql_instance===")
res = client.list_sql_instance(project_name)
res.log_print()
if __name__ == '__main__':
main()