AnalyticDB:外部テーブルを使用した MongoDB データのインポート

サンプルデータ

use test_mongodb;
db.createCollection("person");

db.person.insert({"id":1,"name":"james","age":10});
db.person.insert({"id":2,"name":"bond","age":20});
db.person.insert({"id":3,"name":"jack","age":30});
db.person.insert({"id":4,"name":"lock","age":40});

手順

1. SQL エディターに移動します。

   1. AnalyticDB for MySQL コンソールにログインします。 コンソールの左上隅でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 管理するクラスターを見つけて、クラスター ID をクリックします。

   2. 左側のナビゲーションウィンドウで、[ジョブ開発] > Sql開発 をクリックします。

2. 次の文を実行して、外部データベースを作成します。

   CREATE EXTERNAL DATABASE adb_external_db;

3. 外部テーブルを作成します。

   重要

   AnalyticDB for MySQL 外部テーブルには、MongoDB ドキュメントと同じフィールド名、フィールド数、フィールド順序、およびデータ型が必要です。

   CREATE EXTERNAL TABLE adb_external_db.person (
     id int,
     name string,
     age int
   ) ENGINE = 'MONGODB' TABLE_PROPERTIES ='{
   "mapped_name":"person",
   "location":"mongodb://testuser:****@dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717,dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717/test_mongodb",
   "username":"testuser",
   "password":"password",
   }';

   表 1. パラメーター

   パラメーター	説明
   mapped_name	MongoDB コレクションの名前。 この例では、名前は person です。
   location	ApsaraDB for MongoDB インスタンスの VPC エンドポイント。 フォーマット: mongodb://testuser:****@dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717,dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717/database。 例: mongodb://testuser:****@dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717,dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717/test_mongodb。 説明 セカンダリノードのエンドポイントを使用して MongoDB インスタンスに接続しないでください。
   username	MongoDB インスタンスのデータベースアカウント。 説明 MongoDB は、ターゲットデータベースでデータベースアカウントとパスワードを検証します。 MongoDB インスタンスの VPC エンドポイントで指定されたデータベースのアカウントを使用します。 ご不明な点がある場合は、テクニカルサポートにお問い合わせください。
   password	MongoDB データベースアカウントのパスワード。

4. データをクエリします。

   外部テーブルが作成された後、SELECT 文を使用して person コレクションのデータをクエリできます。

   SELECT * FROM adb_external_db.person;

   次の結果が返されます。

   +------+-------+------+
   | id   | name  | age  |
   +------+-------+------+
   |    1 | james |   10 |
   |    2 | bond  |   20 |
   |    3 | jack  |   30 |
   |    4 | lock  |   40 |
   +------+-------+------+
   4 rows in set (0.35 sec)

5. MongoDB からインポートされたデータを格納するために、AnalyticDB for MySQL クラスターにデータベースとテーブルを作成します。

   1. adb_demo という名前のデータベースを作成します。

      CREATE DATABASE adb_demo; 

   2. adb_demo.adb_import_test という名前のテーブルを作成します。

      重要

      AnalyticDB for MySQL Enterprise Edition、Basic Edition、または Data Lakehouse Edition クラスターで作成されたテーブルには、AnalyticDB for MySQL 外部テーブルと同じフィールド名、フィールド数、フィールド順序、およびデータ型が必要です。

       CREATE TABLE IF NOT EXISTS adb_demo.adb_import_test(id int,name varchar(1023),age int ) DISTRIBUTED BY HASH(id);

6. MongoDB から AnalyticDB for MySQL Enterprise Edition、Basic Edition、または Data Lakehouse Edition クラスターにデータをインポートします。

   • 方法 1: INSERT INTO 文を使用してデータをインポートします。 プライマリキーの値が重複している場合、新しいデータは無視されます。 これは INSERT IGNORE INTO を使用するのと同じです。 詳細については、「INSERT INTO」をご参照ください。

     INSERT INTO adb_demo.adb_import_test SELECT * FROM adb_external_db.person;

   • 方法 2: INSERT OVERWRITE INTO 文を使用してデータを同期的にインポートします。 これにより、テーブル内の既存のデータが上書きされます。

     INSERT OVERWRITE INTO adb_demo.adb_import_test SELECT * FROM adb_external_db.person;

   • 方法 3: INSERT OVERWRITE INTO 文を使用してデータを非同期にインポートします。 詳細については、「非同期書き込み」をご参照ください。

     SUBMIT JOB INSERT OVERWRITE adb_demo.adb_import_test SELECT * FROM adb_external_db.person;

7. データがインポートされた後、SELECT 文を使用して adb_demo.adb_import_test テーブルのデータをクエリできます。

   SELECT * FROM adb_demo.adb_import_test;

   次の結果が返されます。

   +------+-------+------+
   | id   | name  | age  |
   +------+-------+------+
   |    1 | james |   10 |
   |    2 | bond  |   20 |
   |    3 | jack  |   30 |
   |    4 | lock  |   40 |
   +------+-------+------+

サンプルデータ

db.createCollection("test_json");

db.test_json.insert(    {
        'id': 1,
        'details':{'city': "hangzhou", "name":"jack"}
    })

手順

1. SQL エディターに移動します。

   1. AnalyticDB for MySQL コンソールにログインします。 コンソールの左上隅でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 管理するクラスターを見つけて、クラスター ID をクリックします。

   2. 左側のナビゲーションウィンドウで、[ジョブ開発] > Sql開発 をクリックします。

2. 次の文を実行して、外部データベースを作成します。

   CREATE EXTERNAL DATABASE adb_external_db;

3. 外部テーブルを作成します。

   重要

   • AnalyticDB for MySQL 外部テーブルには、MongoDB ドキュメントと同じフィールド名、フィールド数、フィールド順序、およびデータ型が必要です。

   • 外部テーブルを使用して MongoDB のネストされたドキュメントにデータを書き込むことはできません。

   CREATE EXTERNAL TABLE adb_external_db.test_json (
     id int,
     city string,
     name string
   ) ENGINE = 'MONGODB' TABLE_PROPERTIES ='{
   "mapped_name":"test_json",
   "location":"mongodb://testuser:****@dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717,dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717/test_mongodb",
   "username":"testuser",
   "password":"password",
   "COLUMN_MAPPING":"city,details.city;name,details.name",
   }';

   パラメーター:

   • COLUMN_MAPPING: 外部テーブルのフィールドと MongoDB ドキュメントのフィールド間のマッピングを定義します。 たとえば、外部テーブルの city フィールドと MongoDB ドキュメントの details.city フィールドの間にマッピングが作成されます。

   • 外部テーブルの他のパラメーターについては、「パラメーターの説明」をご参照ください。

4. データをクエリします。

   外部テーブルが作成された後、SELECT 文を使用して test_json コレクションのデータをクエリできます。

   SELECT * FROM adb_external_db.test_json;

   次の結果が返されます。

   +------+----------+-------+
   | id   |  city    |  name |
   +------+----------+-------+
   |    1 | hangzhou |  jack |
   +------+----------+-------+

   説明

   MongoDB のネストされたドキュメントから AnalyticDB for MySQL にデータをインポートするには、まずデータベースとテーブルを作成する必要があります。 詳細については、このトピックの「MongoDB のネストされていないドキュメントからデータをインポートする」セクションのステップ 5 から 7 をご参照ください。

サンプルデータ

db.createCollection("test_objectid");

test_objectid コレクションにドキュメントを挿入します。

db.test_objectid.insert(    {
        'id': 1,
    })

test_objectid コレクション内のドキュメントをクエリします。

db.test_objectid.find()

次の結果が返されます。

{
   "_id":"ObjectId("641002ad883a73eb0d7291a7")"
   "id":1
}

手順

1. SQL エディターに移動します。

   1. AnalyticDB for MySQL コンソールにログインします。 コンソールの左上隅でリージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 管理するクラスターを見つけて、クラスター ID をクリックします。

   2. 左側のナビゲーションウィンドウで、[ジョブ開発] > Sql開発 をクリックします。

2. 次の文を実行して、外部データベースを作成します。

   CREATE EXTERNAL DATABASE adb_external_db;

3. 外部テーブルを作成します。

   重要

   AnalyticDB for MySQL 外部テーブルには、MongoDB ドキュメントと同じフィールド名、フィールド数、フィールド順序、およびデータ型が必要です。

   CREATE EXTERNAL TABLE adb_external_db.test_objectid (
     id int,
     _id objectid
   ) ENGINE = 'MONGODB' TABLE_PROPERTIES ='{
   "mapped_name":"test_objectid",
   "location":"mongodb://testuser:****@dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717,dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717/test_mongodb",
   "username":"testuser",
   "password":"password",
   }';

4. データをクエリします。

   外部テーブルが作成された後、SELECT 文を使用して test_objectid コレクションのデータをクエリできます。

   SELECT cast(_id as string) FROM adb_external_db.test_objectid;

   サンプル結果:

   +----------------------------+
   |    CAST(_id AS string)     | 
   +----------------------------+
   |  641002ad883a73eb0d7291a7  |
   +----------------------------+

   説明

   ObjectId フィールドを含むデータを AnalyticDB for MySQL にインポートするには、まずデータを格納するデータベースとテーブルを作成する必要があります。 詳細については、「MongoDB のネストされていないドキュメントからデータをインポートする」のステップ 5 から 7 をご参照ください。