MaxCompute:Merge small files

Como funciona

O MaxCompute utiliza dois mecanismos para controlar o acúmulo de arquivos pequenos:

Mesclagem automática — Após a conclusão de um job, o MaxCompute aloca uma tarefa Fuxi para mesclar arquivos pequenos quando a quantidade de arquivos em uma partição ultrapassa o limiar definido. Por padrão, uma instância Fuxi processa no máximo 100 arquivos pequenos. Identifique mesclagens automáticas pela entrada MergeTask no log do job. O MaxCompute também varre periodicamente o banco de dados de metadados e mescla arquivos pequenos em qualquer tabela ou partição com alta contagem de arquivos.

Mesclagem manual — Quando os dados são gravados continuamente em uma tabela e a mesclagem automática não consegue acompanhar esse fluxo, interrompa o job de gravação e execute o comando MERGE SMALLFILES manualmente.

Limitações

• A mesclagem de arquivos pequenos consome recursos de computação. Em instâncias de pagamento conforme o uso, as tarifas seguem a mesma taxa do faturamento de SQL sob demanda. Para detalhes sobre preços, consulte Preços de computação (pagamento conforme o uso).

• O comando MERGE SMALLFILES não oferece suporte a tabelas transacionais. Para compactar uma tabela transacional, utilize o comando COMPACTION.

Verificar a contagem de arquivos em uma tabela

Execute DESC EXTENDED para visualizar quantos arquivos uma tabela ou partição contém.

Sintaxe

DESC EXTENDED <table_name> [PARTITION (<pt_spec>)];

Parâmetros

Exemplo de saída

O exemplo acima exibe a tabela odl_bpm_wfc_task_log: 3.607 arquivos, tamanho total de 274 MB (287.869.658 bytes) e tamanho médio de arquivo de aproximadamente 0,07 MB. Essa partição é uma boa candidata para mesclagem.

Quando mesclar: Se uma partição contiver mais de 100 arquivos e o tamanho médio for inferior a 64 MB, mescle os arquivos pequenos.

Mesclar arquivos pequenos

ALTER TABLE <table_name> [PARTITION (<pt_spec>)] MERGE SMALLFILES;

import os
from odps import ODPS

# Load credentials from environment variables.
# Do not hardcode your AccessKey ID or AccessKey secret in your code.
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='<your-project>',
    endpoint='<your-endpoint>',
)

# Replace <table_name> with the name of your table.
table_name = '<table_name>'
t = o.get_table(table_name)

# Set merge options.
hints = {'odps.merge.maxmerged.filesize.threshold': 256}

# Submit one merge task per partition under the target date.
# Replace <datetime> with the date value to target, e.g., '20240101'.
insts = []
for partition in t.iterate_partitions(spec='ds=<datetime>'):
    instance = o.run_merge_files(table_name, str(partition), hints=hints)
    # Open this Logview URL and click Waiting Queue to find the merge job log.
    print(instance.get_logview_address())
    insts.append(instance)

# Wait for all merge tasks to finish.
for inst in insts:
    inst.wait_for_completion()

Exemplo

Uma verificação de estabilidade de dados identificou que a tabela tbcdm.dwd_tb_log_pv_di precisa de mesclagem. A consulta à tabela de metadados tbcdm.dws_rmd_merge_task_1d revelou que a maioria das partições excede 1.000 arquivos, algumas passam de 7.000 arquivos e várias apresentam tamanho médio de arquivo abaixo de 1 MB.

Execute os comandos abaixo para mesclar os arquivos pequenos:

SET odps.merge.cross.paths=true;
SET odps.merge.smallfile.filesize.threshold=128;
SET odps.merge.max.filenumber.per.instance = 2000;
ALTER TABLE tbcdm.dwd_tb_log_pv_di PARTITION (ds='20151116') MERGE SMALLFILES;

Resultado após a mesclagem:

Próximos passos

• COMPACTION — Compactar dados em tabelas transacionais

• Preços de computação (pagamento conforme o uso) — Entender o faturamento de jobs de mesclagem