AnalyticDB:Data Warehouse Edition クイックスタート

特権アカウントの作成

1. AnalyticDB for MySQL コンソール にログインします。コンソールの左上隅でリージョンを選択し、左側のナビゲーションウィンドウで クラスターリスト をクリックします。管理対象のクラスターを見つけ、クラスター ID をクリックします。

2. 左側のナビゲーションウィンドウで アカウント管理 をクリックします。

3. アカウント管理 ページで、特権アカウントの作成 をクリックします。

4. アカウントの作成 パネルで、パラメーターを設定します。

   パラメーター	説明
   データベースアカウント	特権アカウントの名前です。画面上の要件を満たす名前を入力してください。
   アカウントタイプ	Data Warehouse Edition クラスターの場合、このパラメーターは自動的に 高特権アカウント に設定され、変更できません。
   新しいパスワード	特権アカウントのパスワードです。画面上の要件を満たすパスワードを入力してください。
   パスワードの確認	パスワードを再度入力して確認します。
   記述	任意です。将来的に参照できるように、アカウントの説明を入力します。

5. を決定 をクリックしてアカウントを作成します。

標準アカウントの作成と権限付与

操作手順

1. AnalyticDB for MySQL コンソール にログインします。コンソールの左上隅でリージョンを選択し、左側のナビゲーションウィンドウで クラスターリスト をクリックします。管理対象のクラスターを見つけ、クラスター ID をクリックします。

2. 左側のナビゲーションウィンドウで データセキュリティ をクリックします。

3. ホワイトリストの設定 ページで、デフォルト ホワイトリストグループを見つけ、[操作] 列の 変更 をクリックします。

   説明

   ホワイトリスト作成グループ をクリックして、カスタムグループを作成することもできます。

4. ホワイトリストグループの設定 ダイアログボックスで、デフォルトの IP アドレス 127.0.0.1 を削除します。クラスターにアクセスする必要のある IP アドレスまたは CIDR ブロックを入力し、を決定 をクリックします。

   説明

   クライアントのパブリック IP アドレスをホワイトリストに追加するには、まずその IP アドレスを特定する必要があります。「接続数」をご参照ください。

DMS を使用して接続する AnalyticDB for MySQL

1. AnalyticDB for MySQL コンソール にログインします。コンソールの左上隅でリージョンを選択し、左側のナビゲーションウィンドウで クラスターリスト をクリックします。管理対象のクラスターを見つけ、クラスター ID をクリックします。

2. クラスター情報 ページの右上隅で、ログインデータベース をクリックします。

3. 表示されるダイアログボックスで、ログイン情報を入力します。

   パラメーター	説明
   データベースタイプ	デフォルト値は AnalyticDB for MySQL 3.0 です。変更する必要はありません。
   インスタンスのリージョン	デフォルト値は現在のインスタンスが配置されているリージョンです。変更する必要はありません。
   インスタンスid	デフォルト値は現在のクラスターのクラスター ID です。変更する必要はありません。
   データベースアカウント	クラスターのデータベースアカウント名です。
   データベースパスワード	データベースアカウントのパスワードです。 説明 パスワードを記憶する を選択すると、次回以降、データベースアカウントとパスワードを入力せずに現在の AnalyticDB for MySQL クラスターに自動的にログインできます。

   説明

   • DMS を使用して AnalyticDB for MySQL クラスターに初めてログインする場合、コントロールモードはデフォルトで 柔軟な管理 に設定されます。ログイン後、インスタンスを編集することでコントロールモードを変更することもできます。「インスタンスの編集」および「コントロールモード」をご参照ください。

   • ログインパラメーターを設定したら、左下隅の 接続のテスト をクリックできます。接続テストが失敗した場合は、エラーメッセージに基づいてアカウントやパスワードなどクラスター情報を確認してください。

   • システムは自動的に DMS のサーバー IP アドレスをデータベースの IP アドレスホワイトリストに追加します。自動的に追加されない場合は、手動で追加してください。「ステップ 2：IP アドレスホワイトリストの設定」および「DMS IP アドレスホワイトリスト」をご参照ください。

4. ログイン をクリックします。

プログラムによる接続先: AnalyticDB for MySQL

• JDBC

• Druid 接続プール

• Python

• PHP

• C# (Mac)

• Golang

MySQL コマンドラインツールを使用して AnalyticDB for MySQL に接続する

MySQL コマンドラインクライアントを使用した AnalyticDB for MySQL クラスターへの接続

クライアントを使用して接続する AnalyticDB for MySQL

• DBeaver

• DBVisualizer

• Navicat

• SQL WorkBench/J

接続 AnalyticDB for MySQL をデータビジュアライゼーションツールに

• FineBI

• Quick BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

前提条件

• AnalyticDB for MySQL データを格納する Object Storage Service (OSS) のディレクトリを作成します。

  1. OSS を有効化します。「OSS の有効化」をご参照ください。

  2. バケットを作成します。「バケットの作成」をご参照ください。

     重要

     OSS バケットは、AnalyticDB for MySQL クラスターと同じリージョンにある必要があります。

  3. ディレクトリを作成します。「ディレクトリの作成」をご参照ください。

  4. テストオブジェクトをアップロードします。「オブジェクトのアップロード」をご参照ください。

     この例では、oss_import_test_data.txt オブジェクトを OSS の <bucket-name>.oss-cn-hangzhou.aliyuncs.com/adb/ ディレクトリにアップロードします。行は改行で区切られ、列はセミコロン (;) で区切られています。サンプルデータは次のとおりです。

     uid;other
     12;hello_world_1
     27;hello_world_2
     28;hello_world_3
     33;hello_world_4
     37;hello_world_5
     40;hello_world_6
     ...     

• AnalyticDB for MySQL クイックスタートガイドに従って、クラスターの作成、IP アドレスホワイトリストの設定、アカウントとデータベースの作成など、事前準備を完了してください。「操作手順」をご参照ください。

操作手順

1. CREATE TABLE ステートメントを実行して、adb_demo データベースに外部テーブルを作成します。CSV、Parquet、TEXT 形式のデータに対する OSS 外部テーブルの作成構文については、「OSS 外部テーブルの構文」をご参照ください。

2. OSS データをクエリします。

   外部テーブルのクエリは、AnalyticDB for MySQL 内部テーブルのクエリと同じ構文を使用します。次の例のように、直接データをクエリできます。

   select uid, other from oss_import_test_external_table where uid < 100 limit 10;

   • 大規模な CSV または TEXT データオブジェクトの場合は、クエリパフォーマンスを向上させるために、クエリ前にデータを AnalyticDB for MySQL にインポートすることを強く推奨します。

   • Parquet データオブジェクトの場合は、直接クエリでも一般的に高いパフォーマンスが得られます。必要に応じて、クエリ前にデータを AnalyticDB for MySQL にインポートするかどうかを判断できます。

3. CREATE TABLE ステートメントを実行して、adb_oss_import_test という名前の送信先テーブルを adb_demo データベースに作成し、OSS からインポートされたデータを格納します。

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid string,
       other string
   )
   DISTRIBUTED BY HASH(uid);                  

4. INSERT ステートメントを実行して、OSS 外部テーブルから AnalyticDB for MySQL にデータをインポートします。

   重要

   デフォルトでは、INSERT INTO ステートメントおよび INSERT OVERWRITE SELECT ステートメントは同期書き込みでデータをインポートします。数百ギガバイトなど大量のデータをインポートする場合、クライアントと AnalyticDB for MySQL サーバー間の接続を長時間維持する必要があります。この期間中にネットワークの問題が発生すると接続が中断され、データインポートが失敗する可能性があります。そのため、大量のデータをインポートする場合は、SUBMIT JOB INSERT OVERWRITE SELECT ステートメントを使用して非同期でデータをインポートすることを推奨します。

   • 方法 1： INSERT INTO ステートメントを実行してデータをインポートします。プライマリキーに重複する値がある場合、新しいデータは無視され、既存のデータは更新されません。この動作は INSERT IGNORE INTO を使用する場合と同等です。「INSERT INTO」をご参照ください。次のステートメントが例です。

     INSERT INTO adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方法 2： INSERT OVERWRITE ステートメントを実行してデータをインポートします。このステートメントはテーブル内の既存のデータを上書きします。次のステートメントが例です。

     INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

   • 方法 3： INSERT OVERWRITE ステートメントを実行してデータを非同期でインポートします。SUBMIT JOB ステートメントを使用して非同期タスクを送信できます。書き込みタスクを高速化するために、/*+ direct_batch_load=true*/ ヒントワードを追加できます。「非同期書き込み」をご参照ください。次のステートメントが例です。

     SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
     SELECT * FROM oss_import_test_external_table;

     次の結果が返されます。

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |

     非同期タスクの送信方法の詳細については、「非同期インポートタスクの送信」をご参照ください。

5. adb_oss_import_test テーブル内のデータをクエリするには、次のコマンドを実行します。

   SELECT * FROM adb_oss_import_test;

OSS 外部テーブルの構文

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"CSV|ORC|Parquet",
    "delimiter":";",
    "skip_header_line_count":1,
    "charset":"utf-8"
}';

CREATE TABLE adb_csv_hive_format_oss (
  a tinyint,
  b smallint,
  c int,
  d bigint,
  e boolean,
  f float,
  g double,
  h varchar,
  i varchar, -- binary
  j timestamp,
  k DECIMAL(10, 4),
  l varchar, -- char(10)
  m varchar, -- varchar(100)
  n date
) ENGINE = 'OSS' TABLE_PROPERTIES='{
    "format": "csv",
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":"LTAI****************",
    "accesskey":"yourAccessKeySecret",
    "url":"oss://testBucketname/adb_data/",
    "delimiter": "\\1",
    "null_value": "\\\\N",
    "oss_ignore_quote_and_escape": "true",
    "ossnull": 2
}';

parquet_partition_classic/
├── p1=2020-01-01
│ ├── p2=4
│ │ ├── p3=SHANGHAI
│ │ │ ├── 000000_0
│ │ │ └── 000000_1
│ │ └── p3=SHENZHEN
│ │     └── 000000_0
│ └── p2=6
│     └── p3=SHENZHEN
│         └── 000000_0
├── p1=2020-01-02
│ └── p2=8
│     ├── p3=SHANGHAI
│     │ └── 000000_0
│     └── p3=SHENZHEN
│         └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"endpoint",
    "url":"OSS_LOCATION",
    "accessid":"accesskey_id",
    "accesskey":"accesskey_secret",
    "format":"parquet",
    "partition_column":"p1, p2, p3"
}';

参照

データをインポートする他の方法については、「サポートされるデータソース」をご参照ください。