PolarDB:GanosBase へのベクトルデータとラスターデータの高速インポート

FDW を使用したインポート (推奨)

外部データラッパー (FDW) は、外部データソースにアクセスするための PostgreSQL 拡張機能です。GanosBase FDW は、ジオメトリ空間データ型を自動的に Geometry 型にマッピングするため、単一の SQL ステートメントで外部テーブルとローカルテーブルをまとめてクエリできます。

以下の手順では、OSS から poly.shp をローカルの GanosBase テーブルにインポートします。

前提条件

開始する前に、以下が準備できていることを確認してください。

• PolarDB for PostgreSQL (Compatible with Oracle) インスタンス

• シェープファイルを含む OSS バケット

• ご利用の Alibaba Cloud アカウントの AccessKey ID と AccessKey Secret

手順

1. 必要な拡張機能をインストールします。

   CREATE EXTENSION ganos_spatialref;
   CREATE EXTENSION ganos_geometry;
   CREATE EXTENSION ganos_fdw;

2. ST_RegForeignTables を使用して、シェープファイルを外部テーブルとして登録します。

   SELECT ST_RegForeignTables('oss://<access_id>:<secret_key>@[<endpoint>]/<bucket>/path_to/poly.shp');

   プレースホルダーを実際の認証情報とファイルパスに置き換えてください。

   プレースホルダー	説明	例
   <access_id>	Alibaba Cloud AccessKey ID	LTAI5tXxx
   <secret_key>	Alibaba Cloud AccessKey Secret	xXxXxXx
   <endpoint>	OSS エンドポイント	oss-cn-hangzhou.aliyuncs.com
   <bucket>	OSS バケット名	my-geo-bucket

3. 外部テーブルが登録されたことを確認します。

   SELECT foreign_table_name FROM information_schema.foreign_tables
   ORDER BY foreign_table_name ASC;

   結果にテーブル poly が表示されます。この時点では、poly に対するクエリはオンデマンドで OSS からデータを読み取ります。データはまだデータベースに書き込まれていません。

4. データをデータベースに書き込むには、次を実行します。

   CREATE TABLE poly_db AS SELECT * FROM poly;

GIS デスクトップツールを使用したインポート

PolarDB for PostgreSQL は PostgreSQL Community Edition と完全な互換性があるため、QGIS やその他の GIS デスクトップツールは修正なしで動作します。ご利用の PolarDB インスタンスを指す PostgreSQL データソース接続を作成し、ツールの組み込みインポート機能を使用します。

ST_ImportFrom と ST_CreateRast の違い

どちらの関数も Raster オブジェクトを作成しますが、ピクセルデータの扱い方が異なります。

データの耐久性が重要な場合は ST_ImportFrom を使用します。データをコピーせずにその場でクエリしたい場合は ST_CreateRast を使用します。

TIFF データのインポート

1. TIFF ファイルを OSS バケットにアップロードします。

2. Raster 型の列を持つテーブルを作成します。

   CREATE TABLE raster_table (
     id      integer,
     format  text,
     rast    raster
   );

3. どちらかの関数を使用して TIFF をインポートします。

   • ST_ImportFrom を使用する場合 — ピクセルデータは chunk_table に格納されます。

     INSERT INTO raster_table
     SELECT 1, 'TIFF', ST_ImportFrom('chunk_table', 'oss://<access_id>:<secret_key>@[<endpoint>]/<bucket>/path_to/file');

   • ST_CreateRast を使用する場合 — OSS ファイルへのポインターのみが格納されます。

     INSERT INTO raster_table
     SELECT 2, 'TIFF', ST_CreateRast('oss://<access_id>:<secret_key>@[<endpoint>]/<bucket>/path_to/file');

4. GanosBase UDF (ユーザー定義関数) を使用して、インポートされた Raster オブジェクトをクエリします。

   SELECT
     id,
     ST_Georeference(rast),
     st_extent(rast),
     ST_NumBands(rast),
     ST_SRID(rast),
     st_value(rast, 0, 100, 100),
     st_value(rast, 1, 200, 200)
   FROM raster_table;

   

HDF5 および NetCDF データのインポート

HDF5 と NetCDF は、地球観測、科学計算、地球科学 (気象学や海洋学など) で使用されます。インポート構文は TIFF と同じです。

• ST_ImportFrom を使用する場合：

  INSERT INTO raster_table
  SELECT 3, 'NC', ST_ImportFrom('chunk_table', 'oss://<access_id>:<secret_key>@[<endpoint>]/<bucket>/path_to/file');

• ST_CreateRast を使用する場合：

  INSERT INTO raster_table
  SELECT 4, 'NC', ST_CreateRast('oss://<access_id>:<secret_key>@[<endpoint>]/<bucket>/path_to/file');

4次元以上のファイル

GanosBase はラスターデータを (w, h, b) チャンクとして格納します。ここで、w は幅、h は高さ、b はバンド数です。4次元以上のファイルの場合、GanosBase が余分なディメンションをバンドにマッピングする方法を認識できるように、chunkdim を明示的に指定します。

NetCDF ファイルの場合、バンド数は x (経度) 軸と y (緯度) 軸を除くすべてのディメンションの積になります。たとえば、lon、lat、time、isobaric ディメンションを持つファイルには 120 のバンドがあります (これは time と isobaric ディメンションのサイズの積です)。

INSERT INTO nc_table
VALUES (
  1,
  ST_ImportFrom(
    'nc_rbt',                         -- チャンクテーブル名
    '/Users/xiaofei/Data/raster/nc_demo.nc',
    '{"chunkdim":"(256,256,120)"}'    -- 256x256 タイル、120 バンド
  )
);