Hologres：SALIN

Perhatikan hal-hal berikut saat menggunakan pernyataan SALIN untuk mengimpor atau mengekspor data:

• Untuk mengimpor data dari tabel terpartisi ke Hologres, Anda hanya dapat mengimpor data ke tabel partisi anak, bukan tabel partisi induk.

• Pada Hologres V1.1.43 dan versi lebih baru, pernyataan COPY FROM STDIN mendukung tabel yang dibuat dengan batasan DEFAULT dan tabel yang berisi kolom tipe data SERIAL. Pernyataan COPY FROM STDIN tidak mendukung tabel-tabel ini di versi Hologres sebelumnya.

Anda dapat menggunakan pernyataan COPY FROM untuk mengimpor data dari input standar klien ke Hologres dan pernyataan COPY TO untuk mengekspor data Hologres.

Sintaksis pernyataan SALIN:

COPY nama_tabel [ ( nama_kolom [, ...] ) ]
    FROM STDIN
    [ [ WITH ] ( opsi [, ...] ) ]

COPY { ( query ) }
    TO STDOUT
    [ [ WITH ] ( opsi [, ...] ) ]

di mana opsi bisa salah satu dari:

    FORMAT nama_format
    DELIMITER 'karakter_pembatas'
    NULL 'string_null'
    HEADER [ boolean ]
    QUOTE 'karakter_kutipan'
    ESCAPE 'karakter_escape'
    FORCE_QUOTE { ( nama_kolom [, ...] ) | * }
    FORCE_NOT_NULL ( nama_kolom [, ...] )
    ENCODING 'nama_encoding'
    STREAM_MODE [ boolean]
    ON_CONFLICT 'none/ignore/update'

Contoh:

• Eksekusi pernyataan \copy untuk mengekspor data Hologres ke file lokal.

  Catatan

  Anda dapat menggunakan metode ini untuk mengekspor data Hologres ke file lokal hanya pada klien PostgreSQL.

  -- Buat tabel.
  CREATE  TABLE copy_to_local (
    id    int,
    age   int,
    name  text
  ) ;
  
  -- Masukkan data ke tabel yang dibuat.
  INSERT INTO copy_to_local VALUES
  (1,1,'a'),
  (1,2,'b'),
  (1,3,'c),
  (1,4,'d');
  
  -- Query data dalam tabel.
  SELECT * FROM copy_to_local;
  
  -- Ekspor data ke file lokal.
  \COPY (SELECT * FROM copy_to_local) TO '/root/localfile.txt';

• Gunakan stdout untuk mengekspor data Hologres ke file lokal.

  Catatan

  Anda dapat menggunakan metode ini untuk mengekspor data Hologres ke file lokal hanya pada klien PostgreSQL.

  psql -U <username> -p <port> -h <endpoint> -d <databasename> -c "COPY (SELECT * FROM <tablename>) TO STDOUT WITH DELIMITER '|' CSV;" ><filename>;

Alibaba Cloud Object Storage Service (OSS) adalah layanan penyimpanan cloud yang aman, hemat biaya, dan andal. Anda dapat mengekspor data dari Hologres ke OSS dengan mengeksekusi pernyataan SALIN.

• Batasan

  • Instance Hologres hanya mengizinkan pengguna yang diberi izin pg_execute_server_program dan superuser untuk mengeksekusi pernyataan hg_dump_to_oss untuk mengekspor data dari Hologres ke Bucket OSS tertentu. Superuser dapat mengeksekusi salah satu pernyataan berikut untuk memberikan izin pg_execute_server_program kepada pengguna:

    -- Jika database saat ini menggunakan model izin sederhana (SPM), eksekusi pernyataan berikut:
    CALL spm_grant('pg_execute_server_program','ID akun Alibaba Cloud, alamat email Alibaba, atau akun pengguna RAM');
    
    -- Jika database saat ini menggunakan model otorisasi PostgreSQL standar, eksekusi pernyataan berikut:
    GRANT pg_execute_server_program TO ID akun Alibaba Cloud, alamat email Alibaba Cloud, atau akun pengguna RAM;

  • Jumlah data yang dapat diekspor dari Hologres ke OSS sekaligus maksimal 5 GB.

• Deskripsi pernyataan

  • Pernyataan COPY TO:

    COPY ( query ) TO { PROGRAM 'command' | STDOUT }
        [ [ WITH ] ( option [, ...] ) ]

    Parameter PROGRAM menentukan pernyataan yang ingin Anda eksekusi. Data yang akan diekspor ditulis ke input standar pernyataan tersebut. Untuk informasi lebih lanjut tentang parameter lainnya, lihat Parameter.

  • Pernyataan hg_dump_to_oss: Pernyataan ini harus digunakan bersama dengan pernyataan COPY TO.

    COPY (query) TO PROGRAM 'hg_dump_to_oss --AccessKeyId <accessid> --AccessKeySecret <accesskey> --Endpoint <ossendpoint> --BucketName <bucketname> --DirName <dirname> --FileName <filename> --BatchSize <xxx> ' (DELIMITER ',', HEADER true, FORMAT CSV);

    Penting

    Nilai parameter DirName tidak boleh dimulai dengan karakter seperti garis miring (/) atau backslash (\).

    Tabel berikut menjelaskan parameter dalam sintaksis sebelumnya.

    Parameter	Deskripsi	Contoh nilai
    query	Pernyataan query.	select * from dual;
    AccessKeyId	ID AccessKey akun Alibaba Cloud Anda. Anda dapat memperoleh ID AccessKey di halaman AccessKey. Kami sarankan Anda mengonfigurasi variabel lingkungan dan memperoleh ID AccessKey dan Rahasia AccessKey dari variabel lingkungan untuk mengurangi risiko kebocoran data.	Tidak ada
    AccessKeySecret	Rahasia AccessKey yang sesuai dengan ID AccessKey. Kami sarankan Anda mengonfigurasi variabel lingkungan dan memperoleh ID AccessKey dan Rahasia AccessKey dari variabel lingkungan untuk mengurangi risiko kebocoran data.	Tidak ada
    Endpoint	Endpoint jaringan klasik Bucket OSS. Anda dapat memperoleh endpoint menggunakan salah satu metode berikut: Anda dapat melihat endpoint jaringan klasik di halaman detail bucket. Untuk pergi ke halaman detail bucket, masuk ke konsol OSS dan klik nama bucket di halaman Buckets. Anda dapat memperoleh endpoint dari Wilayah dan endpoint OSS di cloud publik berdasarkan wilayah OSS.	oss-cn-beijing-internal.aliyuncs.com
    BucketName	Nama Bucket OSS.	dummy_bucket
    DirName	Direktori OSS tempat data diekspor.	testdemo/
    FileName	Opsional. Nama file di Bucket OSS. Catatan Nama file tidak boleh mengandung karakter berikut: ;#'|?~<()"$\{}[]&*\n\r.	file_name
    BatchSize	Jumlah baris yang diproses oleh pernyataan hg_dump_to_oss dalam satu waktu. Nilai default: 1000.	5000
    DELIMITER	Pembatas yang ingin Anda gunakan untuk memisahkan bidang dalam file yang diekspor. Pembatas default adalah karakter tab (\t).	,

  • Contoh

    Contoh berikut menunjukkan cara mengeksekusi pernyataan hg_dump_to_oss dan COPY TO di Hologres.

    -- Dump data dari tabel internal Hologres ke Bucket OSS yang ditentukan.
    COPY (SELECT * FROM holo_test LIMIT 2) TO PROGRAM 'hg_dump_to_oss --AccessKeyId <access id> --AccessKeySecret <access key> --Endpoint oss-cn-hangzhou-internal.aliyuncs.com --BucketName hologres-demo --DirName holotest/ --FileName file_name --BatchSize 3000' DELIMITER ',';
    
    -- Dump data dari tabel asing Hologres ke Bucket OSS yang ditentukan.
    COPY (SELECT * FROM foreign_holo_test LIMIT 20) TO PROGRAM 'hg_dump_to_oss --AccessKeyId <access id> --AccessKeySecret <access key> --Endpoint oss-cn-hangzhou-internal.aliyuncs.com --BucketName hologres-demo --DirName holotest/ --FileName file_name --BatchSize 3000' (DELIMITER ',', HEADER true);
    
    -- Dump data dari tabel Hologres ke Bucket OSS yang ditentukan di wilayah lain.
    COPY (SELECT * FROM holo_test_1 LIMIT 20) TO PROGRAM 'hg_dump_to_oss --AccessKeyId <access id> --AccessKeySecret <access key> --Endpoint oss-cn-beijing-internal.aliyuncs.com --BucketName hologres-demo --DirName holotest/ --FileName file_name --BatchSize 3000' (DELIMITER ',', HEADER true, FORMAT CSV);

    Catatan

    Anda dapat mengekspor data dari Hologres ke Bucket OSS di wilayah lain. Misalnya, Anda dapat mengekspor data dari instance Hologres di wilayah China (Hangzhou) ke Bucket OSS di wilayah China (Beijing).

  • Kesalahan umum dan pemecahan masalah

    Tabel berikut menjelaskan kesalahan umum dan solusinya.

    Pesan kesalahan	Solusi
    ERROR: syntax error at or near ")"LINE 1: COPY (select 1,2,3 from ) TO PROGRAM 'hg_dump_to_oss2 --Acce...	Pesan kesalahan ini dilaporkan karena pernyataan query yang ditentukan dalam parameter query tidak valid. Periksa dan perbaiki pernyataan query.
    DETAIL: child process exited with exit code 255	Pesan kesalahan ini dilaporkan karena jenis jaringan yang ditentukan untuk Bucket OSS tidak valid. Untuk mengakses Bucket OSS di Alibaba Cloud public cloud, gunakan endpoint jaringan klasik Bucket OSS.
    DETAIL: command not found	Pesan kesalahan ini dilaporkan karena parameter program dalam pernyataan DUMP TO OSS tidak disetel ke hg_dump_to_oss
    ERROR: program "hg_dump_to_oss ..." failed DETAIL: child process exited with exit code 101	Pesan kesalahan ini dilaporkan karena parameter AccessKeyId yang ditentukan tidak valid. Gunakan ID AccessKey akun Alibaba Cloud Anda.
    ERROR: program "hg_dump_to_oss ..." failed DETAIL: child process exited with exit code 102	Pesan kesalahan ini dilaporkan karena parameter AccessKeySecret yang ditentukan tidak valid. Gunakan Rahasia AccessKey akun Alibaba Cloud Anda.
    ERROR: program "hg_dump_to_oss ..." failed DETAIL: child process exited with exit code 103	Pesan kesalahan ini dilaporkan karena parameter Endpoint yang ditentukan tidak valid. Gunakan endpoint jaringan klasik yang benar dari Bucket OSS.
    ERROR: program "hg_dump_to_oss ..." failed DETAIL: child process exited with exit code 104	Pesan kesalahan ini dilaporkan karena parameter BucketName yang ditentukan tidak valid. Gunakan nama bucket yang benar.
    ERROR: program "hg_dump_to_oss ..." failed DETAIL: child process exited with exit code 105	Pesan kesalahan ini dilaporkan karena parameter yang diperlukan dibiarkan kosong. Periksa apakah semua parameter yang diperlukan telah ditentukan dengan benar.
    ERROR: program "hg_dump_to_oss ..." failed DETAIL: child process exited with exit code 255	Pesan kesalahan ini dilaporkan karena server tempat instance Hologres Anda berada tidak dapat terhubung ke jaringan tempat Bucket OSS yang ditentukan berada. Ubah endpoint Bucket OSS yang ditentukan. Misalnya, Anda dapat menggunakan endpoint jaringan klasik Bucket OSS. Untuk informasi lebih lanjut tentang endpoint Bucket OSS, lihat Wilayah dan endpoint OSS.

Contoh: Gunakan CopyManager untuk mengekspor data dari Hologres ke file di klien JDBC. Contoh kode:

import org.postgresql.copy.CopyManager;
import org.postgresql.core.BaseConnection;

import java.io.FileOutputStream;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.util.Properties;

public class copy_to_local_file {

    public static void main(String args[]) throws Exception {
        System.out.println(copyToFile(getConnection(), "/Users/feng/Workspace/region.tbl", "select * from region"));
    }

    public static Connection getConnection() throws Exception {
        Class.forName("org.postgresql.Driver");
        String url = "jdbc:postgresql://endpoint:port/dbname";
        Properties props = new Properties();
    //set db user
        props.setProperty("user", "AAA");// ID AccessKey akun saat ini. Kami sarankan Anda mengonfigurasi variabel lingkungan dan memperoleh ID AccessKey dari variabel lingkungan untuk mengurangi risiko kebocoran data. 
    //set db password
        props.setProperty("password", "BBB");// Rahasia AccessKey akun saat ini. Kami sarankan Anda mengonfigurasi variabel lingkungan dan memperoleh Rahasia AccessKey dari variabel lingkungan untuk mengurangi risiko kebocoran data. 
        return DriverManager.getConnection(url, props);
    }

    /**
     * Impor data ke file klien JDBC. 
     *
     * @param connection
     * @param filePath
     * @param SQL_Query
     * @return
     * @throws SQLException
     * @throws IOException
     */
    public static String copyToFile(Connection connection, String filePath, String SQL_Query)
            throws SQLException, IOException {

        FileOutputStream fileOutputStream = null;

        try {
            CopyManager copyManager = new CopyManager((BaseConnection)connection);
            fileOutputStream = new FileOutputStream(filePath);
            copyManager.copyOut("COPY " + "(" + SQL_Query + ")" + " TO STDOUT DELIMITER '|' csv ", fileOutputStream);
        } finally {
            if (fileOutputStream != null) {
                try {
                    fileOutputStream.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
        return filePath;
    }
}