Hologres:データレイクの高速化

サービス

説明

参照

DLF

クラウドデータレイクおよびレイクハウスを構築するためのフルマネージドサービスです。DLF は、一元化されたメタデータ管理、一元化された権限とセキュリティ管理、および便利なデータインジェストと探索機能を提供します。

Data Lake Formation (DLF) 1.0 とは

HMS

Apache Hive のコアコンポーネントであり、Hive および Spark テーブルのメタデータ (ストレージの場所、テーブルスキーマ、テーブル名、列名、データ型、パーティション情報など) を管理します。HMS は Hive および Spark データクエリをサポートします。

Hive Metastore Server

OSS

OSS は、DLF におけるクラウドデータレイクの統合ストレージです。大量のデータとあらゆる種類のファイルを格納できる、安全でコスト効率が高く、信頼性の高いサービスです。OSS は 99.9999999999% のデータの耐久性を提供し、データレイクストレージの事実上の標準となっています。

OSS とは

OSS-HDFS (JindoFS) は、Hadoop エコシステムの計算エンジンと統合されたクラウドネイティブデータレイクストレージサービスです。HDFS API および POSIX と完全に互換性があり、Hive / Spark ベースの ETL ワークロードにおいて、ネイティブ OSS を上回るパフォーマンスを発揮します。

OSS-HDFS とは

マッピング方法

構文

説明

サポートされるデータソース

バージョン要件

シナリオ

CREATE EXTERNAL DATABASE

• CREATE EXTERNAL DATABASE

• CREATE EXTERNAL SCHEMA

• CREATE EXTERNAL TABLE

Hologres インスタンス上に外部データベースを作成し、外部データソースからメタデータを読み込みます。これにより、レイクハウスアーキテクチャにおける内部データと外部データの一元管理が可能になります。

• DLF 1.0

• DLF 2.0

• MaxCompute

V3.0

外部データソースのカタログからデータベース全体とそのすべてのテーブルを Hologres にマッピングします。

FOREIGN TABLE

IMPORT FOREIGN SCHEMA

Hologres スキーマ内に複数の外部テーブルを一度に作成し、外部データソースからテーブルを自動的にマッピングします。

• DLF 1.0

• DLF 2.0

• HMS

• MaxCompute

• Hologres

V0.8

外部データソースのデータベースまたはスキーマ内のすべてのテーブルを Hologres スキーマにマッピングします。

CREATE FOREIGN TABLE

Hologres 内に外部テーブルを手動で作成し、外部データソースからテーブルまたは特定のフィールドをマッピングします。

• DLF 1.0

• DLF 2.0

• HMS

• MaxCompute

• Hologres

V0.8

特定のテーブルまたはフィールドを Hologres にマッピングします。

テーブルフォーマット

サポートされるバージョン

サポートされる圧縮方式

Hudi

Hologres V1.3 以降でデータ読み取りをサポート

• UNCOMPRESSED

• GZIP

• SNAPPY

• BROTLI

• LZ4

• ZSTD

• LZ4_RAW

• None

• ZLIB

Delta Lake

Hologres V1.3 以降でデータ読み取りをサポート

• UNCOMPRESSED

• GZIP

• SNAPPY

• BROTLI

• LZ4

• ZSTD

• LZ4_RAW

Apache Paimon

• Hologres V2.1 以降でデータ読み取りをサポート

• Hologres V3.0 以降で、DLF 2.0 ベースのレイクテーブルからのデータ読み取りおよび Apache Paimon 追加専用テーブルへのデータ書き込みをサポート

• PARQUET

  • UNCOMPRESSED

  • SNAPPY

  • GZIP

  • LZO

  • BROTLI

  • LZ4

  • ZSTD

• ORC

  • NONE

  • ZLIB

  • SNAPPY

  • LZO

  • LZ4

Iceberg

Hologres V3.0 で、DLF 1.0 および HMS ベースの V1 および V2 の Iceberg テーブルからのデータ読み取りをサポート

• PARQUET

  • UNCOMPRESSED

  • SNAPPY

  • GZIP

  • LZO

  • BROTLI

  • LZ4

  • ZSTD

• ORC

  • NONE

  • ZLIB

  • SNAPPY

  • LZO

  • LZ4

ファイルフォーマット

サポートされるバージョン

サポートされる圧縮方式

CSV

Hologres V1.3 以降でデータ読み取りと書き込みをサポート

COMPRESSION_CODEC

• BZip2Codec

• DefaultCodec

• GzipCodec

• SnappyCodec

Parquet

Hologres V1.3 以降でデータ読み取りと書き込みをサポート

• UNCOMPRESSED

• GZIP

• SNAPPY

• BROTLI

• LZ4

• ZSTD

• LZ4_RAW

ORC

Hologres V1.3 以降でデータ読み取りと書き込みをサポート

• None

• ZLIB

• SNAPPY

SequenceFile

Hologres V1.3 以降でデータ読み取りと書き込みをサポート

• COMPRESSION_CODEC

  • BZip2Codec

  • DefaultCodec

  • GzipCodec

  • SnappyCodec

• COMPRESSION_TYPE

  • NONE

  • RECORD

  • BLOCK