AnalyticDB：數倉版快速入門

建立高許可權帳號

1. 登入雲原生資料倉儲AnalyticDB MySQL控制台，在左上方選擇叢集所在地區。在左側導覽列，單擊集群清單。在集群清單上方，選擇產品系列，然後單擊目的地組群ID。

2. 在左側導覽列，單擊帳號管理。

3. 在帳號管理頁面，單擊建立高許可權帳號。

4. 在創建賬號面板，設定相關參數。

   參數	說明
   数据库账号	高許可權帳號的帳號名稱，根據控制台提示輸入符合要求的名稱。
   账号类型	數倉版叢集固定為高許可權帳號，無需配置。
   新密碼	高許可權帳號的密碼，根據控制台提示輸入符合要求的帳號密碼。
   确认密码	再次輸入高許可權帳號的密碼。
   描述	備忘該帳號的相關資訊，便於後續帳號管理。可選。

5. 單擊確定完成帳號建立。

建立和授權普通帳號

操作步驟

1. 登入雲原生資料倉儲AnalyticDB MySQL控制台，在左上方選擇叢集所在地區。在左側導覽列，單擊集群清單。在集群清單上方，選擇產品系列，然後單擊目的地組群ID。

2. 在左側導覽列單擊資料安全。

3. 在白名单设置頁面，單擊default白名單分組右側的修改。

   說明

   您也可以單擊建立白名單群組建立自訂分組。

4. 在修改白名单分组對話方塊中，刪除預設IP 127.0.0.1，填寫需要訪問該叢集的IP地址或IP段，然後單擊確定。

   說明

   如果需要將用戶端出口IP地址添加到白名單中，請先查詢IP地址，詳情請參見串連。

使用DMS串連AnalyticDB for MySQL

1. 登入雲原生資料倉儲AnalyticDB MySQL控制台，在左上方選擇叢集所在地區。在左側導覽列，單擊集群清單。在集群清單上方，選擇產品系列，然後單擊目的地組群ID。

2. 在集群資訊頁面，單擊右上方登入資料庫。

3. 在彈出的對話方塊中，填寫登入資訊。

   參數	說明
   資料庫類型	預設為AnalyticDB MySQL 3.0，無需選擇。
   執行個體地區	預設為當前執行個體所在地區，無需選擇。
   執行個體ID	預設為當前叢集的叢集ID，無需選擇。
   資料庫帳號	叢集的帳號名稱。
   資料庫密碼	帳號名對應的密碼。 說明 您可以選中記住密碼，方便之後再次登入當前AnalyticDB for MySQL叢集時，無需輸入資料庫帳號和密碼即可自動登入。

   說明

   • 首次通過DMS登入AnalyticDB for MySQL叢集時，管控模式預設為自由操作。登入成功後，您還可以通過編輯執行個體功能來修改管控模式。更多資訊，請參見編輯執行個體和管控模式。

   • 配置完登入參數後，您可以單擊左下角測試連接。如果測試連接失敗，請按照報錯提示檢查錄入的叢集資訊，如帳號或密碼是否正確。

   • 系統會自動嘗試往雲資料庫的白名單中添加DMS的伺服器訪問地址，若自動添加失敗請手動添加。詳情資訊，請參見步驟二：設定白名單和DMS白名單列表。

4. 單擊登入即可。

應用開發中通過代碼串連到AnalyticDB for MySQL

• JDBC

• Druid串連池

• Python

• PHP

• C#（Mac）

• Golang

通過MySQL命令列工具串連到AnalyticDB for MySQL

MySQL命令列串連AnalyticDB for MySQL

通過用戶端串連到AnalyticDB for MySQL

• DBeaver

• DBVisualizer

• Navicat

• SQL WorkBench/J

將AnalyticDB for MySQL串連到資料視覺化工具

• FineBI

• Quick BI

• 永洪BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

前提條件

• 通過以下步驟在OSS中建立儲存AnalyticDB for MySQL資料的目錄。

  1. 開通OSS服務。詳情請參見開通OSS服務。

  2. 建立儲存空間。詳情請參見控制台建立儲存空間。

     重要

     OSS的儲存空間與AnalyticDB for MySQL所屬地區相同。

  3. 建立目錄。詳情請參見建立目錄。

  4. 上傳測試檔案。詳情請參見控制台上傳檔案。

     本樣本將oss_import_test_data.txt檔案上傳至OSS中的<bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/目錄，資料行分隔字元為分行符號，資料行分隔符號為;，檔案樣本資料如下所示：

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• 根據AnalyticDB for MySQL入門指南，完成建立叢集、設定白名單、建立帳號和資料庫等準備工作，詳情請參見使用流程。

操作步驟

1. 通過CREATE TABLE，在adb_demo資料庫中建立外表。建立CSV、Parquet或TEXT格式OSS外表的建表文法請參見OSS外表文法。

2. 查詢OSS資料。

   查詢外表映射表和查詢AnalyticDB for MySQL內表文法沒有區別，您可以方便地直接進行查詢，如本步驟的範例程式碼所示。

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • 對於資料量較大的CSV或TEXT資料檔案，強烈建議您按照後續步驟匯入AnalyticDB for MySQL後再做查詢，否則查詢效能可能會較差。

   • 對於Parquet格式資料檔案，直接查詢的效能一般也比較高，您可以根據需要決定是否進一步匯入到AnalyticDB for MySQL後再做查詢。

3. 通過CREATE TABLE，在adb_demo資料庫中建立目標表adb_oss_import_test儲存從OSS中匯入的資料。

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. 執行INSERT語句將OSS外表資料匯入AnalyticDB for MySQL。

   重要

   使用INSERT INTO或INSERT OVERWRITE SELECT匯入資料時，預設是同步執行流程。如果資料量較大，達到幾百GB，用戶端到AnalyticDB for MySQL服務端的串連需要保持較長時間。在此期間，可能會因為網路因素導致串連中斷，進而導致資料匯入失敗。因此，如果您的資料量較大時，推薦使用SUBMIT JOB INSERT OVERWRITE SELECT非同步執行匯入。

   • 方式一：執行INSERT INTO匯入資料，當主鍵重複時會自動忽略當前寫入資料，不進行更新覆蓋，作用等同於INSERT IGNORE INTO，詳情請參見INSERT INTO。樣本如下：

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方式二：執行INSERT OVERWRITE匯入資料，會覆蓋表中原有的資料。樣本如下：

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方式三：非同步執行INSERT OVERWRITE匯入資料。 通常使用SUBMIT JOB提交非同步任務，由後台調度，可以在寫入任務前增加Hint（/*+ direct_batch_load=true*/）加速寫入任務。詳情請參見非同步寫入。樣本如下：

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     返回結果如下：

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     關於非同步提交任務詳情，請參見非同步提交匯入任務。

5. 執行以下命令，查詢adb_oss_import_test表的資料。

   SELECT * FROM adb_oss_import_test;

OSS外表文法

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"text|orc|parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAIF****5FsE",
    "accesskey":"Ccw****iWjv",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│ │ │ └── 000000_1
│ │ └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

相關文檔

更多匯入資料方式，請參見支援的資料來源。