E-MapReduce:FAQ

Como acessar o oss entre contas?

Por padrão, o EMR Serverless StarRocks fornece acesso sem senha aos buckets do oss na mesma conta. Para acessar recursos do oss em outra conta, desative esse padrão, configure o par de AccessKey da conta de destino e aplique a nova configuração.

1. Desative o acesso sem senha: na aba Parameter Configuration, limpe os valores dos seguintes itens de configuração nos arquivos especificados.

   • core-site.xml

     fs.oss.credentials.provider =

   • jindosdk.cfg

     fs.oss.provider.format =
     fs.oss.provider.endpoint =

2. Adicione o par de AccessKey da conta de destino: na aba Parameter Configuration, clique em Add Configuration Item e adicione as seguintes configurações aos arquivos especificados.

   • core-site.xml

     fs.oss.accessKeyId = AccessKey ID of the target account
     fs.oss.accessKeySecret = AccessKey Secret of the target account

   • jindosdk.cfg

     fs.oss.accessKeyId = AccessKey ID of the target account
     fs.oss.accessKeySecret = AccessKey Secret of the target account

3. Aplique a configuração: na aba Parameter Configuration, clique em Submit Parameters.

Uso de drivers de conector UDF e JDBC

Antes de usar drivers UDF e JDBC, obtenha os arquivos JAR necessários de uma source externa.

1. Faça o upload dos arquivos JAR para o oss. Para mais informações, consulte Upload files.

   Ao fazer o upload dos arquivos, defina o object ACL como Public Read/Write para conceder permissões públicas de leitura e gravação aos arquivos JAR.

2. Obtenha a URL de cada arquivo JAR.

   No console do oss, localize o link de cada arquivo JAR enviado com sucesso. Use a URL HTTP do endpoint interno, que deve estar em um dos seguintes formatos:

   • Para um driver JDBC: http://<YourBucketName>.oss-cn-xxxx-internal.aliyuncs.com/mysql-connector-java-*.jar.

   • Para uma UDF: http://<YourBucketName>.oss-cn-xxxx-internal.aliyuncs.com/<YourPath>/<jar_package_name>.

3. Use os arquivos JAR. Para mais informações, consulte Java UDF e JDBC Catalog.

Como redefinir a senha da instância?

1. acesse a página de detalhes da instância.

   1. Faça login no E-MapReduce console.

   2. No painel de navegação à esquerda, escolha EMR Serverless > StarRocks.

   3. clique em nome da instância de destino.

2. Na página Instance Details, na seção Basic Information, clique em Reset Password.

3. Na caixa de diálogo exibida, insira e confirme a nova senha e, em seguida, clique em OK.

Erro ao gravar dados em tabelas Paimon

• Sintoma: ao usar o StarRocks para gravar dados em uma tabela Paimon, você pode receber a seguinte mensagem de erro:

  (5025, 'Backend node not found. Check if any backend node is down.')

• Causa: uma verificação de permissão nas tabelas Paimon pode impedir que o StarRocks identifique corretamente os nós BE durante as operações de gravação.

• Solução:

  • atualize a versão (recomendado): se a versão da sua instância for anterior a uma das seguintes, execute uma minor version update para aplicar a correção.

    • StarRocks 3.2: 3.2.11-1.89 ou posterior

    • StarRocks 3.3: 3.3.8-1.88 ou posterior

  • Solução alternativa: na aba Parameter Configuration da instância do StarRocks, adicione o seguinte item de configuração ao arquivo core-site.xml.

    dlf.permission.clientCheck=false

O que fazer ao receber o erro not a RAM user ao criar uma tabela externa no StarRocks?

• Sintoma: ao criar uma tabela externa no StarRocks, você pode receber a seguinte mensagem de erro:

  current user is not a RAM user

• Causa: este erro é causado por permissões insuficientes ou por uma versão desatualizada da instância.

• Solução:

  1. verifique as permissões do usuário RAM: certifique-se de que o usuário do Resource Access Management (RAM) tenha as permissões necessárias para o StarRocks. Para mais informações, consulte Grant permissions to a RAM user.

  2. Se as permissões estiverem corretas, verifique e atualize a versão do kernel na página Instance Details do StarRocks.

     Se a versão da sua instância for anterior a uma das seguintes, execute uma minor version update para aplicar a correção.

     • StarRocks 3.2: 3.2.11-1.89 ou posterior

     • StarRocks 3.3: 3.3.8-1.88 ou posterior

Erro com ponto e vírgula no SQL Editor

• Sintoma: ao executar uma instrução SQL contendo um ponto e vírgula (;) no SQL Editor, ocorre um erro. A mensagem de erro inclui the most similar input is {a legal identifier}.

  O código do erro é 1064, e os detalhes também incluem Unexpected input '<EOF>', indicando um erro de sintaxe na linha 3, coluna 11.

• Esse erro ocorre porque o SQL Editor usa o ponto e vírgula (;) como terminador de instrução por padrão. Se a sua instrução SQL contiver um ponto e vírgula (;), ocorrerá um erro de análise de sintaxe.

• Solução:

  1. defina um delimitador personalizado.

     Antes de executar uma instrução SQL que contenha um ponto e vírgula, defina um delimitador personalizado para evitar erros de análise de sintaxe. Por exemplo, altere o delimitador para $$.

     delimiter $$

  2. execute a instrução SQL que contém um ponto e vírgula. Veja um exemplo abaixo:

     INSERT INTO sr_test VALUES 
     (1, 'asdsd,asdsads'), 
     (2, 'sadsad;asdsads');

  3. Restaure o delimitador padrão.

     Após a execução da instrução SQL, restaure o delimitador padrão (;) para que as operações SQL subsequentes sejam executadas conforme o esperado.

     delimiter ;

  4. verifique o resultado.

     execute uma consulta para verifique se os dados foram inseridos corretamente.

     delimiter ;
     SELECT * FROM sr_test;

     Output
       test_id    test_desc
     0       1    asdsd,asdsads
     1       2    sadsad;asdsads

Falha ao importar dados ou acessar tabelas externas

• Sintoma: ao usar o EMR Serverless StarRocks para importar dados ou acessar uma tabela externa, a importação ou conexão pode falhar se o destino for um endereço IP público.

• Causa: por padrão, uma instância do EMR Serverless StarRocks é executada em um ambiente de Virtual Private cloud (vpc), que pode não ter acesso direto à internet. Portanto, as solicitações para recursos públicos, como importações de dados ou consultas a tabelas externas, falham, a menos que o acesso à internet esteja configurado.

• Solução: implante um gateway nat da Internet na vpc e ative o recurso SNAT. Isso permite que a instância do EMR Serverless StarRocks acesse recursos públicos por meio do gateway. Para mais informações, consulte Use the SNAT feature of an Internet nat gateway to access the Internet.

Evite o fechamento de conexão pelo tempo limite de ociosidade do slb/CLB

• Sintoma: ao usar o slb com uma instância do StarRocks, o slb fecha forçadamente a conexão do cliente se uma consulta SQL for executada por mais de 900 segundos, impedindo que a consulta retorne um resultado. Para mais informações sobre como ativar o slb, consulte gerencie gateways.

• Causa: o slb fecha qualquer conexão tcp que fique ociosa por mais de 900 segundos. Isso pode acontecer durante uma consulta SQL de longa duração, interrompendo a conexão antes que o StarRocks retorne um resultado.

• Solução: configure os parâmetros tcp Keepalive no lado do cliente para evitar que o slb feche conexões ociosas.

  • Configurações globais de parâmetros do kernel (nível do sistema)

    modifique os parâmetros do kernel do sistema operacional para ative e defina as configurações adequadas de tcp Keepalive para todas as conexões tcp. Isso ajuda a monitorar o status das conexões de rede. A tabela a seguir descreve os parâmetros a serem configurados.

    Parâmetro	Descrição	Valor recomendado
    Linux: net.ipv4.tcp_keepalive_time FreeBSD/macOS: net.inet.tcp.keepidle	O período de inatividade, em segundos, após o qual a primeira sondagem Keepalive é enviada.	600 segundos
    Linux: net.ipv4.tcp_keepalive_intvl FreeBSD/macOS: net.inet.tcp.keepintvl	O intervalo, em segundos, entre as retransmissões da sondagem Keepalive.	60 segundos
    Linux: net.ipv4.tcp_keepalive_probes FreeBSD/macOS: net.inet.tcp.keepcnt	O número de sondagens consecutivas com falha após as quais a conexão é descartada.	5

    Linux

    • Aplicar configurações temporariamente

      # Set global Keepalive parameters (root permissions required)
      sudo sysctl -w net.ipv4.tcp_keepalive_time=600   # Corresponds to keepidle (600 seconds)
      sudo sysctl -w net.ipv4.tcp_keepalive_intvl=60   # Corresponds to keepintvl (60 seconds)
      sudo sysctl -w net.ipv4.tcp_keepalive_probes=5   # Corresponds to keepcount (5)

    • Aplicar configurações permanentemente

      Adicione o seguinte conteúdo a /etc/sysctl.conf e execute sysctl -p para aplicar as configurações.

      echo "net.ipv4.tcp_keepalive_time = 600" >> /etc/sysctl.conf
      echo "net.ipv4.tcp_keepalive_intvl = 60" >> /etc/sysctl.conf
      echo "net.ipv4.tcp_keepalive_probes = 5" >> /etc/sysctl.conf

    FreeBSD/macOS

    • Aplicar configurações temporariamente

      # Set global Keepalive parameters (root permissions required)
      sudo sysctl -w net.inet.tcp.keepidle=600
      sudo sysctl -w net.inet.tcp.keepintvl=60
      sudo sysctl -w net.inet.tcp.keepcnt=5

    • Aplicar configurações permanentemente

      Adicione o seguinte conteúdo a /etc/sysctl.conf.

      echo "net.inet.tcp.keepidle = 600" >> /etc/sysctl.conf
      echo "net.inet.tcp.keepintvl = 60" >> /etc/sysctl.conf
      echo "net.inet.tcp.keepcnt = 5" >> /etc/sysctl.conf

  • Configurações no nível da aplicação

    Use APIs específicas da linguagem para defina os parâmetros tcp Keepalive para uma única conexão.

    Java

    A biblioteca padrão do Java tem suporte limitado para tcp Keepalive. No entanto, você pode implementá-lo usando reflection ou opções de socket de baixo nível.

    Nota

    O código a seguir requer suporte do sistema para opções como tcp_keepidle no Linux ou FreeBSD. Além disso, alguns métodos, como reflection, podem não funcionar devido a diferenças nas versões da JVM. Recomendamos testar a compatibilidade antes de usar em um ambiente de produção.

    import java.io.IOException;
    import java.net.InetSocketAddress;
    import java.net.Socket;
    import java.net.SocketOption;
    import java.nio.channels.SocketChannel;
    public class TcpKeepaliveExample {
        public static void main(String[ ] args) {
            try (Socket socket = new Socket()) {
                // 1. Enable Keepalive
                socket.setKeepAlive(true);
                // 2. Set Keepalive parameters (requires low-level socket options)
                SocketChannel channel = socket.getChannel();
                if (channel != null) {
                    // Set Keepidle (idle time)
                    channel.setOption(StandardSocketOptions.SO_KEEPALIVE, true); // Keepalive must be enabled first
                    setSocketOptionInt(socket, "tcp_keepidle", 600); // Requires system support
                    // Set Keepintvl (retransmission interval)
                    setSocketOptionInt(socket, "tcp_keepintvl", 60);
                    // Set Keepcount (number of failures)
                    setSocketOptionInt(socket, "tcp_keepcnt", 5); // Note: The parameter name may vary by system
                }
                // Connect to the server
                socket.connect(new InetSocketAddress("example.com", 80));
                // ... Other operations ...
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        // Use reflection to set system-specific socket options (such as on Linux/FreeBSD)
        private static void setSocketOptionInt(Socket socket, String optionName, int value) {
            try {
                Class<?> clazz = Class.forName("java.net.Socket$SocketOptions");
                Object options = clazz.getDeclaredMethod("options").invoke(socket);
                Class<?> optionsClass = options.getClass();
                optionsClass.getDeclaredMethod("setOption", String.class, int.class)
                        .invoke(options, optionName, value);
            } catch (Exception e) {
                throw new RuntimeException("Failed to set socket option " + optionName, e);
            }
        }
    }

    Python

    O módulo socket do Python suporta a configuração direta dos parâmetros tcp Keepalive.

    Nota

    Diferentes sistemas operacionais podem usar nomes de parâmetros diferentes. Por exemplo, o macOS pode exigir TCP_KEEPALIVE em vez de TCP_KEEPIDLE. Alguns parâmetros podem exigir permissões de root para serem definidos.

    import socket
    def create_keepalive_socket():
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        # 1. Enable Keepalive
        sock.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1)
        # 2. Set Keepalive parameters (Linux/FreeBSD)
        # Keepidle: 600 seconds
        sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPIDLE, 600)
        # Keepintvl: 60 seconds
        sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPINTVL, 60)
        # Keepcount: 5
        sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPCNT, 5)
        return sock
    # Example
    sock = create_keepalive_socket()
    sock.connect(("example.com", 80))
    # ... Other operations ...
    sock.close()

    Golang

    O pacote net do Golang fornece uma configuração básica de Keepalive. No entanto, é necessário usar o pacote syscall de baixo nível para defina parâmetros detalhados.

    Nota

    Diferentes sistemas operacionais podem usar nomes de parâmetros diferentes. Alguns parâmetros podem exigir permissões de root para serem definidos.

    package main
    import (
        "fmt"
        "net"
        "syscall"
    )
    func main() {
        // Create a TCP connection
        conn, err := net.Dial("tcp", "example.com:80")
        if err != nil {
            panic(err)
        }
        defer conn.Close()
        // Get the underlying file descriptor
        file, err := conn.(*net.TCPConn).File()
        if err != nil {
            panic(err)
        }
        defer file.Close()
        fd := int(file.Fd())
    
        // Enable Keepalive
        err = syscall.SetsockoptInt(fd, syscall.SOL_SOCKET, syscall.SO_KEEPALIVE, 1)
        if err != nil {
            panic(fmt.Errorf("set SO_KEEPALIVE: %v", err))
        }
        // Set Keepidle (idle time)
        err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPIDLE, 600)
        if err != nil {
            panic(fmt.Errorf("set TCP_KEEPIDLE: %v", err))
        }
        // Set Keepintvl (retransmission interval)
        err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPINTVL, 60)
        if err != nil {
            panic(fmt.Errorf("set TCP_KEEPINTVL: %v", err))
        }
        // Set Keepcount (number of failures)
        err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPCNT, 5)
        if err != nil {
            panic(fmt.Errorf("set TCP_KEEPCNT: %v", err))
        }
        // ... Other operations ...
    }

Erro "Unexpected exception: Table '' is not a OLAP table" ao fazer backup de dados do StarRocks

• Sintoma: a seguinte mensagem de erro é relatada ao usar o StarRocks para criar um backup de snapshot de dados.

  Unexpected exception: Table '<table_name>' is not a OLAP table

• Análise da causa:

  • A instância usa o modo de separação de armazenamento e computação.

    As instâncias do StarRocks que usam a separação de armazenamento e computação não suportam backup e restauração de dados. Apenas instâncias com armazenamento e computação integrados suportam este recurso.

  • O tipo de mecanismo da tabela é incompatível.

    O recurso de backup do StarRocks suporta apenas tabelas que usam o mecanismo OLAP. Se o tipo de mecanismo de uma tabela não for OLAP, esse erro será relatado.

• Solução:

  • verifique o tipo de instância.

    Na página Instance List do StarRocks, verifique o Instance Type. Se o tipo de instância for Storage-Compute Separation, o backup e a restauração de dados não são suportados. Recomendamos o uso de uma instância com armazenamento e computação integrados para ative o backup e a restauração. Para mais informações, consulte Backup and restoration.

  • verifique o tipo de mecanismo da tabela.

    verifique a definição DDL da tabela de destino para confirme se ENGINE=OLAP está definido.

    SHOW CREATE TABLE <table_name>;

    Se o mecanismo da tabela não for OLAP, recrie a tabela com base nos seus requisitos de negócios e certifique-se de que ENGINE=OLAP esteja especificado.