Lindorm:Design primary keys for Lindorm wide tables

Conceitos principais

Consultas GET vs. SCAN

O projeto da chave primária determina os métodos de consulta disponíveis.

Exemplos de consultas:

-- GET: retrieve a single order
SELECT * FROM table WHERE userid='abc' AND orderid=123

-- SCAN: retrieve a range of orders
SELECT * FROM table WHERE userid='abc' AND 123<orderid<456

-- SCAN with reverse order: retrieve most recent orders first
SELECT * FROM table WHERE userid='abc' AND 123<orderid<456 ORDER BY orderid DESC

Para consultas impossíveis de expressar com GET ou SCAN, utilize uma tabela de índice ou um índice secundário. Para obter mais informações, consulte SELECT.

O uso do método Scan retorna dados que não atendem aos critérios da consulta?

Não. O SQL de tabelas largas do Lindorm suporta diversos tipos de dados, cada um com codificação individual. Para ver os tipos de dados suportados, consulte Tipos de dados básicos.

Princípios de projeto

Evitar hot spots

Quando a primeira coluna da chave primária aumenta monotonicamente ou possui baixa cardinalidade, utilize uma das técnicas a seguir para distribuir as gravações uniformemente. Cada técnica apresenta diferentes compensações para as leituras.

pk1 = hash(pk).substring(0, 4) + pk

long bucket = timestamp % numBuckets

Simplificar chaves primárias

Reduzir o tamanho da chave acelera as gravações e diminui os custos de armazenamento. Duas abordagens comuns:

• Substitua STRING por LONG ou INT. Exemplo: '2015122410' → Long(2015122410).

• Substitua nomes longos por códigos curtos. Exemplo: 'taobao' → 'tb'.

Considerações sobre problemas

• P: A chave primária é única?

  R: No Lindorm, chaves primárias idênticas são consideradas múltiplas versões do mesmo dado. Como as consultas retornam por padrão a versão mais recente, geralmente é necessário garantir que a chave primária seja única, exceto ao utilizar o recurso de multiversão.

  Exemplo de melhor prática de projeto: A chave primária pode ser uma única coluna ou uma combinação de várias colunas. Cada chave primária representa um registro.

  • [userid]: Indica que a chave primária tem apenas uma coluna, com um único registro por usuário.

  • [userid][orderid]: Indica que a chave primária é uma combinação de duas colunas, permitindo múltiplos registros por usuário.

• P: Quais cenários de consulta são atendidos?

  R: O projeto da chave primária limita a forma de consulta dos dados. O servidor do Lindorm compila uma instrução SELECT em dois métodos de consulta.

  • Consulta por chave primária completa (método get), por exemplo SELECT * FROM table WHERE userid='abc' AND orderid=123.

    Nota

    O método get exige o conhecimento de todas as colunas da chave primária. Ou seja, os valores de todos os campos que compõem a chave primária devem ser determinados.

  • Consulta por intervalo de chave primária (método scan), por exemplo SELECT * FROM table WHERE userid='abc' AND 123<orderid<456.

    Nota

    O método scan requer a especificação do intervalo da primeira coluna da chave primária. Caso contrário, o Lindorm rejeitará por padrão consultas ineficientes de varredura completa da tabela. Para detalhes, consulte Instruções de consulta ineficientes e explicações.

  Exemplo de melhor prática de projeto: Como implementar consultas complexas com métodos de consulta limitados? Os métodos a seguir podem ajudar.

  • Crie uma nova tabela para servir como tabela de índice.

  • Se as condições da consulta especificarem um intervalo em colunas que não são chave primária, o servidor usará filtros para descartar dados desnecessários.

  • Utilize índices secundários.

  • Use o método ORDER BY para implementar ordem decrescente (colocando dados novos primeiro), por exemplo SELECT * FROM table WHERE userid='abc' AND 123<orderid<456 ORDER BY orderid DESC.

    Nota

    Como o desempenho da ordenação inversa à ordem original dos campos da tabela é inferior ao da ordenação direta, considere refletir isso no projeto da chave primária se a maioria dos cenários exigir ordem decrescente. Defina a chave primária como [userid][orderid DESC].

• P: Quais fatores devem ser considerados ao projetar a chave primária?

  R: Considere o tamanho dos valores das colunas da chave primária e a quantidade de colunas.

  • Tamanho dos valores das colunas da chave primária: Mantenha os valores das colunas da chave primária o mais curtos possível. Prefira tipos de tamanho fixo, como inteiros longos. Para tipos de tamanho variável, limite o tamanho do valor da coluna da chave primária a 2 KB para reduzir custos de armazenamento e melhorar o desempenho de gravação.

  • Quantidade de colunas da chave primária: Menos colunas resultam em maior desempenho de gravação e menores custos de armazenamento. Limite a quantidade de colunas da chave primária a 1-3.

• Quais situações evitar ao projetar a chave primária?

  Lindorm é um banco de dados distribuído onde os dados são particionados conforme a chave primária. Se houver múltiplas colunas na chave primária, a distribuição segue o princípio de correspondência mais à esquerda do banco de dados. Para evitar problemas de hot spots de gravação, siga as condições abaixo:

  • A primeira coluna da chave primária deve ser o mais dispersa possível; não use nomes de chave primária com o mesmo prefixo.

  • Evite usar dados com prefixos comuns ou autoincrementais como primeira coluna da chave primária ou coluna de índice (por exemplo, colunas de timestamp).

  • Evite usar campos com prefixos óbvios ou enumerações (como order_type) como primeira chave primária.

    Se situações semelhantes forem inevitáveis, adicione um Hash para dispersar os dados. Exemplo:

    Suponha que a chave primária original pk seja uma string crescente. Defina uma nova chave primária pk1 = hash(pk1).substring(0,4)+pk, ou seja, primeiro disperse com um algoritmo Hash e selecione os primeiros 4 dígitos como prefixo concatenado à chave primária original pk.

• P: Se os dados estiverem suficientemente dispersos, ainda haverá fenômenos de hot spots com acúmulo?

  R: O objetivo do hash é dispersar os dados em diferentes partições, evitando hot spots que deixariam um servidor sobrecarregado enquanto outros permanecem ociosos. Isso aproveita as vantagens da distribuição e concorrência.

  Exemplos de melhores práticas de projeto:

  • Projete um algoritmo de hash md5, definindo a chave primária como [md5(userid).subStr(0,4)][userId][orderid] .

  • Projete uma inversão, definindo a chave primária como [reverse(userid)][orderid].

  • Projete uma operação modular, definindo a chave primária como [bucket][timestamp][hostname][log-event]; long bucket = timestamp % numBuckets.

  • Adicione números aleatórios, definindo a chave primária como [userId][orderid][random(100)].

• P: A chave primária pode ser mais simplificada?

  R: Colunas de chave primária simplificadas reduzem o volume de dados e aumentam a eficiência de consultas e gravações.

  Exemplos de melhores práticas de projeto:

  • Use Long ou Int em vez de String, por exemplo '2015122410' => Long(2015122410) .

  • Use codificações em vez de nomes, por exemplo '淘宝'=> 'tb'.

• P: O uso do método scan retorna dados indesejados?

  R: Não. O SQL de tabelas largas do Lindorm suporta diversos tipos de dados, cada um com codificação individual. Para ver os tipos de dados suportados, consulte Tipos de dados básicos.

Projetos comuns