このトピックでは、Lindorm 分散処理システム (LDPS) から SQL を使用して LindormTable のデータにアクセスする方法について説明します。
準備
SQL を使用して LindormTable のデータにアクセスする前に、注意事項で説明されている注意事項を理解しておくことをお勧めします。
必要なリソースは、ジョブのタイプに基づいて初期化されます。詳細については、次のドキュメントを参照してください。
ワイドテーブルのデータへのアクセス
"lindorm_table" カタログ内の Lindorm ワイドテーブルのデータにアクセスできます。LDPS を使用してテーブルにアクセスする場合、Lindorm ワイドテーブルでデータ操作言語 (DML) 操作を実行できます。データ定義言語 (DDL) 操作とパーティション分割はサポートされていません。ワイドテーブルのデータにアクセスする例を次に示します。
"lindorm_table"カタログを使用します。USE lindorm_table;test という名前のテーブルのスキーマをクエリします。
SHOW CREATE TABLE test;次の結果が返されます。
+----------------------------------------------------+ | CREATE TABLE default.test ( | | `id` INT, | | `name` STRING) | | | +----------------------------------------------------+Lindorm ワイドテーブルにデータを挿入します。
INSERT INTO test VALUES (0, 'Jay');Lindorm ワイドテーブルのデータをクエリします。
SELECT * FROM test;
サポートされている SQL 構文の詳細については、「DML ステートメント」を参照してください。
バルクロード機能を使用して Lindorm ワイドテーブルにデータをインポートする (パブリックプレビュー)
データをバッチでインポートするために使用される SQL 構文は、通常のデータを挿入するために使用される INSERT 構文と同じです。SQL を使用して LindormTable にデータをバッチで書き込むには、次の表で説明されているパラメーターを設定します。
パラメーター | 説明 |
spark.sql.catalog.lindorm_table.bulkLoad.enabled | バルクロード機能を有効にするかどうかを指定します。 有効な値:
|
spark.sql.catalog.lindorm_table.bulkLoad.parallelFactor | ワイドテーブルの単一リージョンにデータを書き込むために使用される同時セッションの数。デフォルト値: |
バルクロード機能を有効にすると、インポートされたデータに基づいてワイドテーブルファイルが自動的に生成され、登録されます。このようにして、書き込みスループットが向上します。
バルクロードジョブによってインポートされたデータに対して、セカンダリインデックスと検索インデックスは自動的に作成されません。