Lindorm:Flink を使用した LindormTable へのアクセス

オープンソース HBase コネクタ

オープンソース HBase コネクタを使用してディメンションテーブルと結果テーブルを作成する方法については、「HBase コネクタドキュメント」をご参照ください。

オープンソース JDBC コネクタ

オープンソース JDBC コネクタを使用して LindormTable にアクセスする場合、現在は LindormTable を結果テーブルとしてのみ使用できます。全体的な使用方法については、JDBC コネクタ公式ドキュメントをご参照ください。ただし、以下の点に特に注意してください。

• 依存関係の要件
  公式ドキュメントに記載の依存パッケージのバージョンは広範ですが、JDBC コネクタで LindormTable にアクセスする場合、使用できるバージョンは現在、以下のリストに記載されているものに限定されます。
  

  • flink-connector-jdbc-core-4.0.0-2.0.jar

  • flink-connector-jdbc-mysql-4.0.0-2.0.jar

  • mysql-connector-j-8.3.0.jar

  MySQL JDBC ドライバの依存パッケージは、コミュニティからダウンロードできます。

• JDBC コネクタパラメータ
  ソーステーブルおよびディメンションテーブルとしての使用はサポートされていないため、これらに関連するパラメータはサポートされていません (scan.fetch-size などの scan プレフィックスを持つパラメータや、lookup.cache などの lookup プレフィックスを持つパラメータなど)。
  一部の JDBC コネクタパラメータの推奨事項：
  
  

  • url： 「Java JDBC API を使用したアプリケーションの開発」に従って設定することを推奨します。

  • username： Lindorm インスタンスで作成されたユーザー名を使用します。

  • password： ユーザー名のパスワード。

  • connector、table-name： JDBC コネクタコミュニティの推奨事項に従います。

  • sink パラメータ： ジョブの実際の状況に基づいて微調整します。

• データ型マッピング
  Flink データ型と Lindorm データ型間のマッピングは、通常 MySQL のデータ型マッピングに準拠します (JDBC コネクタのデータ型マッピングセクションを参照)。ただし、Lindorm の一部のデータ型は MySQL と一致しません。たとえば、JDBC コネクタでサポートされている以下の MySQL 型は、Lindorm ではサポートされていません。
  

  • MEDIUMINT 型

  • DATETIME 型

  • BIGINT UNSIGNED 以外の UNSIGNED 型

次の例では、Flink SQL を使用して、JDBC コネクタ経由で LindormTable にアクセスするジョブを定義します。この例では、Lindorm ワイドテーブルエンジンで testflink という名前のテーブルが既に定義されていることを前提としています。

# Flink テーブルを作成し、ジョブを開始します
CREATE TABLE source_table(
    c1 INT,
    c2 STRING
) WITH (
  'connector' = 'datagen',
  'rows-per-second' = '2',
  'fields.c2.length' = '5',
  'fields.c1.min' = '1',
  'fields.c1.max' = '100'
);


CREATE TABLE sink_table(
    c1 INT,
    c2 STRING
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://ld-xxxxx-proxy-lindorm.lindorm.rds.aliyuncs.com:33060/default?sslMode=disabled&allowPublicKeyRetrieval=true&useServerPrepStmts=true&useLocalSessionState=true&rewriteBatchedStatements=true&cachePrepStmts=true&prepStmtCacheSize=300&prepStmtCacheSqlLimit=50000000',
    'username' = 'root',
    'password' = 'root',
    'table-name' = 'testflink'
);


INSERT INTO sink_table SELECT * FROM source_table;

クラウドネイティブマルチモデルデータベース Lindorm コネクタ

• Realtime Compute for Apache Flink では、Flink SQL を使用して Lindorm ワイドテーブルエンジンにアクセスするジョブを開発できます。Realtime Compute for Apache Flink のジョブ開発の詳細については、「ジョブ開発の概要」をご参照ください。

• コネクタを使用してディメンションテーブルと結果テーブルを作成する方法については、「クラウドネイティブマルチモデルデータベース Lindorm コネクタドキュメント」をご参照ください。