MaxCompute:Lindorm 外部テーブル

はじめに

Lindorm は、モノのインターネット (IoT) 、インターネット、車のインターネットなどのシナリオ向けに設計および最適化されたクラウドネイティブマルチモデルデータベースです。ワイドテーブル、時系列、テキスト、オブジェクト、ストリーム、空間データなど、多様なデータ型への統一アクセスと統合処理をサポートします。Lindorm は、SQL、HBase/Cassandra/S3、TSDB、HDFS、Solr、Kafka などの複数の標準インターフェイスと互換性があり、Alibaba の主要サービスをサポートするコアデータベースの 1 つです。

MaxCompute と Lindorm 間のネットワーク接続を確立した後、外部テーブルを作成して Lindorm テーブルにマッピングできます。これにより、次の操作を実行できます。

• Lindorm テーブルから MaxCompute にデータを同期し、後続の ETL 処理を実行する。

• 他の Lindorm テーブルと結合してフェデレーテッドクエリを実行する。

• MaxCompute から Lindorm テーブルにデータを書き込む。

制限事項

• リージョンの可用性：この機能は、次のリージョンでのみ利用可能です：中国 (北京) 、中国 (上海) 、中国 (張家口) 、中国 (杭州) 、中国 (深セン) 、中国 (香港) 、中国 (上海) 金融クラウドゾーン F、日本 (東京) 、シンガポール、マレーシア (クアラルンプール) 、インドネシア (ジャカルタ) 、ドイツ (フランクフルト) 、米国 (シリコンバレー) 、および米国 (バージニア) 。

• Lindorm 外部テーブルはクラスタープロパティをサポートしていません。

注意事項

ソースの Lindorm テーブルからデータを読み取る際、列数の不一致は次のように処理されます：ソーステーブルの列数が外部テーブルの DDL で定義された数より少ない場合、不足している列には NULL 値が入力されます。逆に、ソーステーブルの列数が多い場合、余分な列データは破棄されます。

Lindorm 外部テーブルの作成

-- Hive 互換モードを有効にします。
SET odps.sql.hive.compatible = true;
-- HBase バージョンを lindorm に設定します。
SET odps.sql.hbase.version=lindorm;
-- Lindorm 外部テーブルを作成します。
CREATE EXTERNAL TABLE if NOT EXISTS <mc_lindorm_external>
(
  <col_name1> <data_type>,
  <col_name2> <data_type>,
  ......
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' -- Lindorm データソースのハンドラ。
WITH SERDEPROPERTIES(
  'hbase.columns.mapping'='<:key,col-family:col-name1,col-family:col-name2,...>')
TBLPROPERTIES(
    -- hbase.table.name と hbase.zookeeper.quorum パラメーターは必須です。
    'hbase.table.name'='',
    'hbase.zookeeper.quorum'='',
    -- hbase.client.username と hbase.client.password パラメーターを構成します。
    'hbase.client.username'='****','hbase.client.password'='****',
    -- hbase.zookeeper.property.clientPort、mcfed.zookeeper.session.timeout、および hbase.client.retries.number パラメーターはオプションです。
    -- hbase.zookeeper.property.clientPort のデフォルト値は 30020 です。
    ['hbase.zookeeper.property.clientPort'='{30020}',]
    ['mcfed.zookeeper.session.timeout'='{{VALUE}}',]
    ['hbase.client.retries.number'='{{VALUE}}',]
    'networklink'='{{NETWORKLINK_NAME}}'
);

例

1. MaxCompute プロジェクトを作成し、MaxCompute クライアントをインストールして設定済みであること。

2. Lindorm サービスを有効化し、Lindorm インスタンスを作成済みであること。

3. Lindorm Shell をダウンロードして設定済みであること。詳細については、「Lindorm Shell を使用したワイドテーブルエンジンへのアクセス」をご参照ください。

4. ネットワーク接続

   • VPC 接続ソリューションに基づいて、MaxCompute と Lindorm 間のネットワーク接続を確立済みであること。VPC 接続ソリューションの詳細については、「ネットワーク有効化プロセス」をご参照ください。

   • この接続では、MaxCompute は指定された VPC にのみアクセスできます。他の VPC やリージョンをまたいだリソースにアクセスするには、「VPC アクセス (専用回線経由の直接接続) 」の指示に従って、専用線接続ソリューションで指定された VPC と他の VPC との間の接続性を設定してください。

5. Lindorm Shell を使用して Lindorm テーブルを作成し、データを挿入します。

   1. lindorm_test テーブルを作成します。

      CREATE 'lindorm_test','f';

   2. lindorm_test テーブルにデータを挿入します。

      put 'lindorm_test', '1122', 'f:col1', 'hello';
      put 'lindorm_test', '1122', 'f:col2', 'hbase';

   3. lindorm_test テーブルからデータをクエリします。

      scan 'lindorm_test';

      次の結果が返されます。

      

6. MaxCompute 外部テーブルを作成し、Lindorm データソースにマッピングします。

   1. MaxCompute クライアントで次のコマンドを実行して、lindorm_test_ext という名前の Lindorm 外部テーブルを作成します。

      SET odps.sql.hive.compatible = true;
      SET odps.sql.hbase.version=lindorm;
      
      CREATE EXTERNAL TABLE lindorm_test_ext
      (
        row_key  INT,
        col1 STRING,
        col2 STRING
      )
      STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
      WITH SERDEPROPERTIES (
        'hbase.columns.mapping'=':key,f:col1,f:col2')
      TBLPROPERTIES (
        'hbase.table.name'='lindorm_test',
        'hbase.zookeeper.quorum'='ld-2z****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020',
        'hbase.client.username'='<ユーザー名>',
        'hbase.client.password'='***',
        'networklink'='<お使いのネットワークリンク名>');

   2. 外部テーブル lindorm_test_ext からデータをクエリします。

      SET odps.sql.hive.compatible = true;
      SET odps.sql.hbase.version=lindorm;
      
      SELECT * FROM lindorm_test_ext;
      
      -- 次の結果が返されます。
      +------------+------------+----------+
      | key        | col1       | col2     |
      +------------+------------+----------+
      | 1122       | hello      | hbase    |  
      +------------+------------+----------+

   3. 外部テーブル lindorm_test_ext にデータを挿入します。

      SET odps.sql.hive.compatible = true;
      SET odps.sql.hbase.version = lindorm;
      INSERT OVERWRITE TABLE lindorm_test_ext SELECT '1123', 'lindorm', 'mftestinsert';

   4. 外部テーブル lindorm_test_ext から再度データをクエリします。

      SET odps.sql.hive.compatible = true;
      SET odps.sql.hbase.version=lindorm;
      
      SELECT * FROM lindorm_test_ext;
      
      -- 次の結果が返されます。
      +------------+------------+-------------+
      | key        | col1       | col2        |
      +------------+------------+-------------+
      | 1122       | hello      | hbase       | 
      | 1123       | lindorm    | mftestinsert|   
      +------------+------------+-------------+

   5. scan 文を使用して Lindorm テーブル lindorm_test からデータをクエリします。

      scan 'lindorm_test';

      次の結果が返されます。