AnalyticDB:Data Warehouse Edition クイックスタート

特権アカウントの作成

1. AnalyticDB for MySQL コンソール にログインします。左上隅でリージョンを選択し、左側のナビゲーションウィンドウで クラスター をクリックします。対象のクラスターを見つけ、クラスター ID をクリックします。

2. 左側のナビゲーションウィンドウで アカウント をクリックします。

3. アカウント タブで、特権アカウントの作成 をクリックします。

4. アカウントの作成 パネルで、以下のパラメーターを設定します。

   パラメーター	説明
   データベースアカウント	特権アカウントの名前。画面上の要件を満たす必要があります。
   アカウントタイプ	Data Warehouse Edition クラスターの場合、自動的に 特権アカウント に設定されます。
   新しいパスワード	アカウントのパスワード。画面上の要件を満たす必要があります。
   パスワードの再入力	パスワードを再度入力します。
   説明	（省略可）アカウントを識別するためのメモ。

5. OK をクリックします。

標準アカウントの作成

SQL ステートメントで作成された標準アカウントはコンソールに表示されません。以下の SQL コマンドを使用して管理してください。

• アカウントの作成：CREATE USER

• 権限の付与：GRANT

• 権限の取り消し：REVOKE

• アカウント名の変更：RENAME USER

• アカウントの削除：DROP USER

ホワイトリストの設定

1. AnalyticDB for MySQL コンソール で、クラスターの詳細ページに移動します。

2. 左側のナビゲーションウィンドウで データセキュリティ をクリックします。

3. ホワイトリスト設定 タブで、default ホワイトリストの右側にある 変更 をクリックします。

   デフォルトのホワイトリストを編集せずに別のホワイトリストを作成する場合は、ホワイトリストの作成 をクリックします。

4. ホワイトリストの編集 パネルで、127.0.0.1 を削除し、許可する IP アドレスまたは CIDR ブロックを入力して、OK をクリックします。

   ご利用のクライアントマシンの送信元 IP アドレスを確認するには、「接続数」をご参照ください。

DMS の使用

1. AnalyticDB for MySQL コンソール で、クラスターの詳細ページに移動します。

2. クラスター情報 ページの右上隅で、データベースにログイン をクリックします。

3. ダイアログボックスで、接続情報を入力します。

   - DMS 経由で初めて接続する場合、クラスターは [柔軟な管理]インスタンスの編集 モードで管理されます。コントロールモードを変更するには、データベースインスタンスの変更をご参照ください。利用可能なコントロールモードについては、「コントロールモード」をご参照ください。 - ログインする前に、左下隅にある [接続テスト] をクリックして接続を検証してください。 - DMS は、そのサーバー IP をクラスターのホワイトリストに自動的に追加します。これに失敗した場合は、手動で追加してください。詳細については、「DMS の IP アドレスと CIDR ブロックをセキュリティ設定に追加する」をご参照ください。

   パラメーター	説明
   データベースタイプ	デフォルトで AnalyticDB MySQL 3.0 に設定されます。
   インスタンスリージョン	クラスターのリージョンにデフォルト設定されます。
   インスタンス ID	現在のクラスター ID にデフォルト設定されます。
   データベースアカウント	データベースアカウントの名前。
   データベースパスワード	アカウントのパスワード。パスワードを保存 を選択すると、次回以降の認証情報入力を省略できます。

4. ログイン をクリックします。

クライアントまたはツールの使用

MySQL クライアント：

• MySQL コマンドラインクライアント

• DBeaver

• DbVisualizer

• Navicat

• SQL WorkBench/J

ビジネスインテリジェンス (BI) ツール：

• FineBI

• Quick BI

• DataV

• Tableau

• QlikView

• FineReport

• Smartbi

アプリケーションコード：

• JDBC

• Druid 接続プール

• Python

• PHP

• C# for macOS

• Golang

OSS からのデータインポート

1. SQL コンソール で、adb_demo データベースを選択し、OSS 外部テーブルを作成します。

   CREATE TABLE oss_import_test_external_table
   (
       uid    STRING,
       other  STRING
   )
   ENGINE='OSS'
   TABLE_PROPERTIES='{
       "endpoint":  "oss-cn-hangzhou-internal.aliyuncs.com",
       "url":       "oss://<bucket-name>/adb/oss_import_test_data.txt",
       "accessid":  "<your-access-key-id>",
       "accesskey": "<your-access-key-secret>",
       "format":    "csv",
       "delimiter": ";"
   }';

   完全な構文とサポートされているすべてのパラメーターについては、「OSS 外部テーブルリファレンス」をご参照ください。

2. 外部テーブルが正しく読み取れるかどうかをテストクエリで確認します。

   大量のデータを含む CSV および TEXT 形式のファイルについては、クエリを実行する前にデータを内部テーブルにインポートすることを推奨します。大規模な外部テーブルに対して直接クエリを実行すると、パフォーマンスが低下する可能性があります。Parquet 形式のファイルについては、直接クエリもサポートされています。

   SELECT uid, other
   FROM oss_import_test_external_table
   WHERE uid < 100
   LIMIT 10;

   このクエリにより、OSS ファイルの行が返されます。行が返されない場合は、エンドポイント、URL、認証情報が正しいかどうかを確認してください。

3. 内部テーブル（送信先）を作成します。

   CREATE TABLE IF NOT EXISTS adb_oss_import_test
   (
       uid   STRING,
       other STRING
   )
   DISTRIBUTED BY HASH(uid);

4. OSS のデータを内部テーブルにインポートします。データ量に応じて、以下のいずれかの方法を選択してください。方法 1 — 同期インポート（小規模データセット）：重複するプライマリキーを無視する場合は、INSERT INTO を使用します（INSERT IGNORE INTO と同等）。

   重要

   INSERT INTO および INSERT OVERWRITE SELECT は同期的に実行されます。数百ギガバイト規模のデータセットでは、長時間実行中のインポート中にネットワークが切断されるとジョブが失敗します。その場合は代わりに方法 2 を使用してください。

   INSERT INTO adb_oss_import_test
   SELECT * FROM oss_import_test_external_table;

   重複するプライマリキーで既存の行を上書きする場合は、INSERT OVERWRITE を使用します。

   INSERT OVERWRITE adb_oss_import_test
   SELECT * FROM oss_import_test_external_table;

   方法 2 — 非同期インポート（大規模データセット、推奨）：SUBMIT JOB を使用してバックグラウンドジョブとしてインポートを送信します。ヒント (/*+ direct_batch_load=true*/) を追加してロードを高速化できます。

   SUBMIT JOB INSERT OVERWRITE adb_oss_import_test
   SELECT * FROM oss_import_test_external_table;

   このコマンドはすぐにジョブ ID を返します。

   +---------------------------------------+
   | job_id                                |
   +---------------------------------------+
   | 2020112122202917203100908203303****** |
   +---------------------------------------+

   詳細については、「インポート ジョブを非同期で送信する」をご参照ください。

5. インポートが完了したら、内部テーブルをクエリしてデータを確認します。

   SELECT * FROM adb_oss_import_test;

OSS 外部テーブルリファレンス

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, ...])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":                   "endpoint",
    "url":                        "oss://bucket-name/path/",
    "accessid":                   "your-access-key-id",
    "accesskey":                  "your-access-key-secret",
    "format":                     "text|orc|parquet",
    "delimiter":                  ";",
    "skip_header_line_count":     1,
    "charset":                    "utf-8"
}';

parquet_partition_classic/
├── p1=2020-01-01
│   ├── p2=4
│   │   ├── p3=SHANGHAI
│   │   │   ├── 000000_0
│   │   │   └── 000000_1
│   │   └── p3=SHENZHEN
│   │       └── 000000_0
│   └── p2=6
│       └── p3=SHENZHEN
│           └── 000000_0
├── p1=2020-01-02
│   └── p2=8
│       ├── p3=SHANGHAI
│       │   └── 000000_0
│       └── p3=SHENZHEN
│           └── 000000_0
└── p1=2020-01-03
    └── p2=6
        ├── p2=HANGZHOU
        └── p3=SHENZHEN
            └── 000000_0

CREATE TABLE [IF NOT EXISTS] table_name
(column_name column_type[, ...])
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":         "endpoint",
    "url":              "oss://bucket-name/parquet_partition_classic/",
    "accessid":         "your-access-key-id",
    "accesskey":        "your-access-key-secret",
    "format":           "parquet",
    "partition_column": "p1, p2, p3"
}';

CREATE TABLE adb_csv_hive_format_oss (
    a TINYINT,
    b SMALLINT,
    c INT,
    d BIGINT,
    e BOOLEAN,
    f FLOAT,
    g DOUBLE,
    h VARCHAR,
    i VARCHAR,  -- Hive では BINARY
    j TIMESTAMP,
    k DECIMAL(10, 4),
    l VARCHAR,  -- Hive では CHAR(10)
    m VARCHAR,  -- Hive では VARCHAR(100)
    n DATE
)
ENGINE='OSS'
TABLE_PROPERTIES='{
    "format":                       "csv",
    "endpoint":                     "oss-cn-hangzhou-internal.aliyuncs.com",
    "accessid":                     "LTAI****************",
    "accesskey":                    "<your-access-key-secret>",
    "url":                          "oss://testBucketname/adb_data/",
    "delimiter":                    "\\1",
    "null_value":                   "\\\\N",
    "oss_ignore_quote_and_escape":  "true",
    "ossnull":                      2
}';