E-MapReduce:FAQ

Bagaimana cara mengakses OSS lintas akun?

Secara default, EMR Serverless StarRocks menyediakan akses tanpa kata sandi ke bucket OSS dalam akun yang sama. Untuk mengakses sumber daya OSS di akun lain, Anda harus menonaktifkan pengaturan default ini, mengonfigurasi pasangan AccessKey akun target, lalu menerapkan konfigurasi baru tersebut.

1. Nonaktifkan akses tanpa kata sandi: Pada tab Parameter Configuration, hapus nilai item konfigurasi berikut dalam file yang ditentukan.

   • core-site.xml

     fs.oss.credentials.provider =

   • jindosdk.cfg

     fs.oss.provider.format =
     fs.oss.provider.endpoint =

2. Tambahkan pasangan AccessKey untuk akun target: Pada tab Parameter Configuration, klik Add Configuration Item dan tambahkan konfigurasi berikut ke file yang ditentukan.

   • core-site.xml

     fs.oss.accessKeyId = AccessKey ID of the target account
     fs.oss.accessKeySecret = AccessKey Secret of the target account

   • jindosdk.cfg

     fs.oss.accessKeyId = AccessKey ID of the target account
     fs.oss.accessKeySecret = AccessKey Secret of the target account

3. Terapkan konfigurasi: Pada tab Parameter Configuration, klik Submit Parameters.

Gunakan driver UDF dan JDBC connector

Sebelum menggunakan UDF dan driver JDBC, Anda harus memperoleh file JAR yang diperlukan dari sumber eksternal.

1. Unggah file JAR ke OSS. Untuk informasi selengkapnya, lihat Upload files.

   Saat mengunggah file, atur object ACL ke Public Read/Write untuk memberikan izin baca-tulis publik pada file JAR tersebut.

2. Dapatkan URL untuk setiap file JAR.

   Di Konsol OSS, temukan tautan untuk setiap file JAR yang berhasil diunggah. Gunakan URL HTTP dari titik akhir internal, yang harus dalam salah satu format berikut:

   • Untuk driver JDBC: http://<YourBucketName>.oss-cn-xxxx-internal.aliyuncs.com/mysql-connector-java-*.jar.

   • Untuk UDF: http://<YourBucketName>.oss-cn-xxxx-internal.aliyuncs.com/<YourPath>/<jar_package_name>.

3. Gunakan file JAR tersebut. Untuk informasi selengkapnya, lihat Java UDF dan JDBC Catalog.

Bagaimana cara mengatur ulang kata sandi instans?

1. Buka halaman detail instans.

   1. Login ke Konsol E-MapReduce.

   2. Pada panel navigasi kiri, pilih EMR Serverless > StarRocks.

   3. Klik nama instans target.

2. Pada halaman Instance Details, di bagian Basic Information, klik Reset Password.

3. Pada kotak dialog yang muncul, masukkan dan konfirmasi kata sandi baru, lalu klik OK.

Kesalahan saat menulis data ke tabel Paimon

• Gejala: Saat Anda menggunakan StarRocks untuk menulis data ke tabel Paimon, Anda mungkin menerima pesan kesalahan berikut:

  (5025, 'Backend node not found. Check if any backend node is down.')

• Penyebab: Pemeriksaan izin pada tabel Paimon dapat mencegah StarRocks mengidentifikasi node BE secara benar selama operasi penulisan.

• Solusi:

  • Upgrade versi (Direkomendasikan): Jika versi instans Anda lebih awal dari salah satu versi berikut, lakukan peningkatan versi minor untuk menerapkan perbaikan.

    • StarRocks 3.2: 3.2.11-1.89 atau lebih baru

    • StarRocks 3.3: 3.3.8-1.88 atau lebih baru

  • Solusi sementara: Pada tab Parameter Configuration instans StarRocks, tambahkan item konfigurasi berikut ke file core-site.xml.

    dlf.permission.clientCheck=false

Saat membuat tabel eksternal di StarRocks, jika Anda menerima kesalahan not a RAM user , apa yang harus dilakukan?

• Gejala: Saat membuat tabel eksternal di StarRocks, Anda mungkin menerima pesan kesalahan berikut:

  current user is not a RAM user

• Penyebab: Kesalahan ini disebabkan oleh izin yang tidak mencukupi atau versi instans yang sudah usang.

• Solusi:

  1. Periksa izin pengguna RAM: Pastikan pengguna Resource Access Management (RAM) memiliki izin yang diperlukan untuk StarRocks. Untuk informasi selengkapnya, lihat Grant permissions to a RAM user.

  2. Jika izin sudah benar, periksa dan tingkatkan versi kernel pada halaman Instance Details StarRocks.

     Jika versi instans Anda lebih awal dari salah satu versi berikut, lakukan peningkatan versi minor untuk menerapkan perbaikan.

     • StarRocks 3.2: 3.2.11-1.89 atau lebih baru

     • StarRocks 3.3: 3.3.8-1.88 atau lebih baru

Kesalahan dengan tanda titik koma di SQL Editor

• Gejala: Saat menjalankan pernyataan SQL yang berisi tanda titik koma (;) di SQL Editor, Anda menerima kesalahan. Pesan kesalahan mencakup the most similar input is {a legal identifier}.

  Kode kesalahan adalah 1064, dan detailnya juga mencakup Unexpected input '<EOF>', yang menunjukkan kesalahan sintaksis pada baris 3, kolom 11.

• Kesalahan ini terjadi karena SQL Editor menggunakan tanda titik koma (;) sebagai terminator pernyataan secara default. Jika pernyataan SQL Anda berisi tanda titik koma (;), terjadi kesalahan penguraian sintaksis.

• Solusi:

  1. Atur delimiter kustom.

     Sebelum menjalankan pernyataan SQL yang berisi tanda titik koma, atur delimiter kustom untuk mencegah kesalahan penguraian sintaksis. Misalnya, Anda dapat mengubah delimiter menjadi $$.

     delimiter $$

  2. Jalankan pernyataan SQL yang berisi tanda titik koma. Contohnya ditunjukkan di bawah ini:

     INSERT INTO sr_test VALUES 
     (1, 'asdsd,asdsads'), 
     (2, 'sadsad;asdsads');

  3. Kembalikan delimiter default.

     Setelah pernyataan SQL dieksekusi, kembalikan delimiter default (;) agar operasi SQL berikutnya dapat berjalan sebagaimana mestinya.

     delimiter ;

  4. Verifikasi hasilnya.

     Jalankan kueri untuk memverifikasi bahwa data telah dimasukkan dengan benar.

     delimiter ;
     SELECT * FROM sr_test;

     Output
       test_id    test_desc
     0       1    asdsd,asdsads
     1       2    sadsad;asdsads

Kegagalan impor data atau akses ke tabel eksternal

• Gejala: Saat menggunakan EMR Serverless StarRocks untuk mengimpor data atau mengakses tabel eksternal, impor atau koneksi dapat gagal jika tujuannya adalah alamat IP publik.

• Penyebab: Instans EMR Serverless StarRocks berjalan di lingkungan Virtual Private Cloud (VPC) secara default, yang mungkin tidak memiliki akses langsung ke Internet. Oleh karena itu, permintaan ke sumber daya publik, seperti untuk impor data atau kueri tabel eksternal, gagal kecuali akses Internet dikonfigurasi.

• Solusi: Anda dapat men-deploy Gateway NAT Internet di VPC dan mengaktifkan fitur SNAT. Hal ini memungkinkan instans EMR Serverless StarRocks mengakses sumber daya publik melalui gateway tersebut. Untuk informasi selengkapnya, lihat Use the SNAT feature of an Internet NAT gateway to access the Internet.

Cegah penutupan koneksi oleh timeout idle SLB/CLB

• Gejala: Saat menggunakan SLB dengan instans StarRocks, SLB memaksa menutup koneksi client jika kueri SQL berjalan lebih dari 900 detik, sehingga kueri tidak dapat mengembalikan hasil. Untuk informasi selengkapnya tentang mengaktifkan SLB, lihat Manage gateways.

• Penyebab: SLB menutup koneksi TCP apa pun yang idle selama lebih dari 900 detik. Hal ini dapat terjadi selama kueri SQL berjalan lama, sehingga mengganggu koneksi sebelum StarRocks mengembalikan hasil.

• Solusi: Konfigurasikan parameter Keepalive TCP di sisi client untuk mencegah SLB menutup koneksi idle.

  • Pengaturan parameter kernel global (tingkat sistem)

    Ubah parameter kernel sistem operasi untuk mengaktifkan dan mengonfigurasi pengaturan Keepalive TCP yang sesuai untuk semua koneksi TCP. Hal ini membantu memantau status koneksi jaringan. Tabel berikut menjelaskan parameter yang perlu dikonfigurasi.

    Parameter	Deskripsi	Nilai yang direkomendasikan
    Linux: net.ipv4.tcp_keepalive_time FreeBSD/macOS: net.inet.tcp.keepidle	Periode ketidakaktifan dalam detik setelah probe Keepalive pertama dikirim.	600 detik
    Linux: net.ipv4.tcp_keepalive_intvl FreeBSD/macOS: net.inet.tcp.keepintvl	Interval dalam detik antara retransmisi probe Keepalive.	60 detik
    Linux: net.ipv4.tcp_keepalive_probes FreeBSD/macOS: net.inet.tcp.keepcnt	Jumlah probe gagal berturut-turut setelah koneksi diputus.	5

    Linux

    • Terapkan pengaturan sementara

      # Setel parameter Keepalive global (memerlukan izin root)
      sudo sysctl -w net.ipv4.tcp_keepalive_time=600   # Sesuai dengan keepidle (600 detik)
      sudo sysctl -w net.ipv4.tcp_keepalive_intvl=60   # Sesuai dengan keepintvl (60 detik)
      sudo sysctl -w net.ipv4.tcp_keepalive_probes=5   # Sesuai dengan keepcount (5)

    • Terapkan pengaturan permanen

      Tambahkan konten berikut ke /etc/sysctl.conf dan jalankan sysctl -p untuk menerapkan pengaturan.

      echo "net.ipv4.tcp_keepalive_time = 600" >> /etc/sysctl.conf
      echo "net.ipv4.tcp_keepalive_intvl = 60" >> /etc/sysctl.conf
      echo "net.ipv4.tcp_keepalive_probes = 5" >> /etc/sysctl.conf

    FreeBSD/macOS

    • Terapkan pengaturan sementara

      # Setel parameter Keepalive global (memerlukan izin root)
      sudo sysctl -w net.inet.tcp.keepidle=600
      sudo sysctl -w net.inet.tcp.keepintvl=60
      sudo sysctl -w net.inet.tcp.keepcnt=5

    • Terapkan pengaturan permanen

      Tambahkan konten berikut ke /etc/sysctl.conf.

      echo "net.inet.tcp.keepidle = 600" >> /etc/sysctl.conf
      echo "net.inet.tcp.keepintvl = 60" >> /etc/sysctl.conf
      echo "net.inet.tcp.keepcnt = 5" >> /etc/sysctl.conf

  • Pengaturan tingkat aplikasi

    Anda dapat menggunakan API khusus bahasa pemrograman untuk mengatur parameter Keepalive TCP untuk satu koneksi.

    Java

    Pustaka standar Java memiliki dukungan terbatas untuk Keepalive TCP. Namun, Anda dapat mengimplementasikannya dengan menggunakan refleksi atau opsi soket tingkat rendah.

    Catatan

    Kode berikut memerlukan dukungan sistem untuk opsi seperti tcp_keepidle di Linux atau FreeBSD. Selain itu, beberapa metode, seperti refleksi, mungkin tidak berfungsi karena perbedaan versi JVM. Kami menyarankan Anda menguji kompatibilitas sebelum digunakan di lingkungan produksi.

    import java.io.IOException;
    import java.net.InetSocketAddress;
    import java.net.Socket;
    import java.net.SocketOption;
    import java.nio.channels.SocketChannel;
    public class TcpKeepaliveExample {
        public static void main(String[ ] args) {
            try (Socket socket = new Socket()) {
                // 1. Aktifkan Keepalive
                socket.setKeepAlive(true);
                // 2. Atur parameter Keepalive (memerlukan opsi soket tingkat rendah)
                SocketChannel channel = socket.getChannel();
                if (channel != null) {
                    // Atur Keepidle (waktu idle)
                    channel.setOption(StandardSocketOptions.SO_KEEPALIVE, true); // Keepalive harus diaktifkan terlebih dahulu
                    setSocketOptionInt(socket, "tcp_keepidle", 600); // Memerlukan dukungan sistem
                    // Atur Keepintvl (interval retransmisi)
                    setSocketOptionInt(socket, "tcp_keepintvl", 60);
                    // Atur Keepcount (jumlah kegagalan)
                    setSocketOptionInt(socket, "tcp_keepcnt", 5); // Catatan: Nama parameter dapat berbeda tergantung sistem
                }
                // Hubungkan ke server
                socket.connect(new InetSocketAddress("example.com", 80));
                // ... Operasi lainnya ...
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        // Gunakan refleksi untuk mengatur opsi soket spesifik sistem (seperti di Linux/FreeBSD)
        private static void setSocketOptionInt(Socket socket, String optionName, int value) {
            try {
                Class<?> clazz = Class.forName("java.net.Socket$SocketOptions");
                Object options = clazz.getDeclaredMethod("options").invoke(socket);
                Class<?> optionsClass = options.getClass();
                optionsClass.getDeclaredMethod("setOption", String.class, int.class)
                        .invoke(options, optionName, value);
            } catch (Exception e) {
                throw new RuntimeException("Gagal mengatur opsi soket " + optionName, e);
            }
        }
    }

    Python

    Modul socket Python mendukung konfigurasi langsung parameter Keepalive TCP.

    Catatan

    Sistem operasi yang berbeda mungkin menggunakan nama parameter yang berbeda. Misalnya, macOS mungkin memerlukan TCP_KEEPALIVE alih-alih TCP_KEEPIDLE. Beberapa parameter mungkin memerlukan izin root untuk diatur.

    import socket
    def create_keepalive_socket():
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        # 1. Aktifkan Keepalive
        sock.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1)
        # 2. Atur parameter Keepalive (Linux/FreeBSD)
        # Keepidle: 600 detik
        sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPIDLE, 600)
        # Keepintvl: 60 detik
        sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPINTVL, 60)
        # Keepcount: 5
        sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPCNT, 5)
        return sock
    # Contoh
    sock = create_keepalive_socket()
    sock.connect(("example.com", 80))
    # ... Operasi lainnya ...
    sock.close()

    Golang

    Paket net Golang menyediakan konfigurasi Keepalive dasar. Namun, Anda harus menggunakan paket tingkat rendah syscall untuk mengatur parameter terperinci.

    Catatan

    Sistem operasi yang berbeda mungkin menggunakan nama parameter yang berbeda. Beberapa parameter mungkin memerlukan izin root untuk diatur.

    package main
    import (
        "fmt"
        "net"
        "syscall"
    )
    func main() {
        // Buat koneksi TCP
        conn, err := net.Dial("tcp", "example.com:80")
        if err != nil {
            panic(err)
        }
        defer conn.Close()
        // Dapatkan deskriptor file dasar
        file, err := conn.(*net.TCPConn).File()
        if err != nil {
            panic(err)
        }
        defer file.Close()
        fd := int(file.Fd())
    
        // Aktifkan Keepalive
        err = syscall.SetsockoptInt(fd, syscall.SOL_SOCKET, syscall.SO_KEEPALIVE, 1)
        if err != nil {
            panic(fmt.Errorf("set SO_KEEPALIVE: %v", err))
        }
        // Atur Keepidle (waktu idle)
        err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPIDLE, 600)
        if err != nil {
            panic(fmt.Errorf("set TCP_KEEPIDLE: %v", err))
        }
        // Atur Keepintvl (interval retransmisi)
        err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPINTVL, 60)
        if err != nil {
            panic(fmt.Errorf("set TCP_KEEPINTVL: %v", err))
        }
        // Atur Keepcount (jumlah kegagalan)
        err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPCNT, 5)
        if err != nil {
            panic(fmt.Errorf("set TCP_KEEPCNT: %v", err))
        }
        // ... Operasi lainnya ...
    }

StarRocks备份数据报错Unexpected exception: Table '' is not a OLAP table

• Gejala: Saat melakukan backup snapshot data menggunakan StarRocks, muncul pesan kesalahan berikut.

  Unexpected exception: Table '<table_name>' is not a OLAP table

• Analisis penyebab:

  • Instans menggunakan mode pemisahan penyimpanan dan komputasi

    Instans StarRocks dengan arsitektur pemisahan penyimpanan dan komputasi tidak mendukung fitur backup dan pemulihan data; hanya instans dengan arsitektur terintegrasi yang mendukung fitur ini.

  • Jenis mesin tabel tidak kompatibel

    Fitur backup StarRocks hanya mendukung tabel dengan mesin OLAP. Jika jenis mesin tabel bukan OLAP, kesalahan ini akan muncul.

• Solusi:

  • Periksa jenis instans.

    Di 实例列表 StarRocks, periksa 实例类型. Jika instance menggunakan tipe 存算分离版, fitur pencadangan dan pemulihan data tidak didukung. Disarankan untuk menggunakan instance dengan arsitektur terpadu komputasi-penyimpanan agar fitur pencadangan dan pemulihan dapat diaktifkan. Untuk informasi selengkapnya, lihat Pencadangan dan pemulihan.

  • Periksa jenis mesin tabel.

    Periksa definisi DDL tabel target dan pastikan telah menetapkan ENGINE=OLAP.

    SHOW CREATE TABLE <table_name>;

    Jika mesin tabel bukan OLAP, buat ulang tabel sesuai kebutuhan bisnis dan pastikan menentukan ENGINE=OLAP.

Bagaimana cara mengatasi kesalahan "must be an aggregate expression or appear in GROUP BY clause" di StarRocks?

• Gejala: Saat menjalankan kueri SQL yang berisi klausa GROUP BY di StarRocks, terjadi kesalahan berikut jika daftar SELECT berisi kolom non-agregat yang tidak termasuk dalam klausa GROUP BY.

  Getting analyzing error: ... must be an aggregate expression or appear in GROUP BY clause

• Penyebab: Aturan ONLY_FULL_GROUP_BY dalam sql_mode memicu kesalahan ini. Saat aturan ini diaktifkan, setiap kolom non-agregat dalam daftar SELECT juga harus muncul dalam klausa GROUP BY.

• Solusi:

  1. Hubungkan ke instans StarRocks menggunakan SQL Editor di StarRocks Manager atau client MySQL.

  2. Jalankan perintah berikut untuk mengosongkan sql_mode dan menghapus aturan ONLY_FULL_GROUP_BY.

     SET GLOBAL sql_mode='';

  3. Verifikasi bahwa sql_mode kosong.

     SELECT @@GLOBAL.sql_mode;

  Pengaturan SET GLOBAL sql_mode berlaku segera tanpa perlu restart layanan. Menonaktifkan ONLY_FULL_GROUP_BY dapat menghasilkan nilai yang tidak akurat untuk kolom non-agregat dalam kueri GROUP BY. Uji perubahan ini di lingkungan pengujian sebelum menerapkannya di lingkungan produksi. Operasi ini mengubah pengaturan global.