Realtime Compute for Apache Flink:Parquet

制限事項

• Parquet フォーマットを使用して、Parquetデータの読み取りと書き込みを行うことができます。

• サポートされているオブジェクトストレージサービス（OSS）コネクタのみが、Parquetフォーマットのデータを読み取ることができます。

サンプルコード

次のサンプルコードは、OSSコネクタを使用してParquetフォーマットでテーブルを作成する方法の例を示しています。

CREATE TABLE user_behavior (
  user_id BIGINT,
  item_id BIGINT,
  category_id BIGINT,
  behavior STRING,
  ts TIMESTAMP(3),
  dt STRING
) PARTITIONED BY (dt) WITH (
 'connector' = 'filesystem',
 'path' = 'oss://<bucket>/path',
 'format' = 'parquet'
)

パラメーター

Parquetフォーマットは、ParquetOutputFormat で提供されているパラメーターもサポートしています。 たとえば、parquet.compression=GZIP を設定して、GZIP圧縮機能を有効にすることができます。

データ型マッピング

Parquetデータ型と Flink SQL データ型のマッピングは、Parquetデータ型と Apache Hive データ型のマッピングと互換性があります。 Parquetデータ型と Flink SQL データ型のマッピングは、次の点で、Parquetデータ型と Apache Spark データ型のマッピングとは異なります。

• Flink SQL の TIMESTAMP データ型は、精度に関係なく、Parquet の INT96 データ型にマッピングされます。

• Flink SQL の DECIMAL データ型は、精度に基づいて固定長のバイト数を持つParquet配列にマッピングされます。

次の表は、Flink SQL データ型と Parquet データ型のマッピングを示しています。