Tous les produits
Search
Centre de documentation

MaxCompute:COMPACTION

Dernière mise à jour :Oct 10, 2026

La compaction fusionne tous les fichiers de données selon une politique spécifique afin d'améliorer l'efficacité des requêtes.

Fonctionnalités

Les Delta Tables prennent en charge les écritures incrémentielles en quasi-temps réel et les requêtes de voyage dans le temps (time travel). Des écritures fréquentes génèrent de nombreux petits fichiers. Une politique de fusion efficace regroupe ces petits fichiers et élimine les doublons. Ce processus améliore l'efficacité des E/S et réduit la charge sur le système de stockage. Toutefois, des compactations trop fréquentes peuvent entraîner une amplification importante des écritures et des échecs dus à des conflits.

Deux méthodes de fusion des données sont disponibles :

  • Clustering : fusionne les DeltaFiles validés en un seul fichier volumineux sans modifier les données. Le système exécute ce processus périodiquement en fonction de la taille et du nombre de nouveaux fichiers. Aucune intervention manuelle n'est requise. Le clustering résout principalement les problèmes d'efficacité et de stabilité des E/S causés par les petits fichiers.

  • Compaction : fusionne tous les fichiers de données selon une politique spécifique pour générer de nouveaux BaseFiles. Pour les lignes de données partageant la même clé primaire (PK), seul le dernier état est conservé. Les états historiques et les informations des colonnes système ne sont pas inclus. L'objectif principal de la compaction est d'améliorer l'efficacité des requêtes.

Syntaxe

alter table <table_name> [partition 
                          (<partition_key> = '<partition_value>' [, ...])
                         ] 
                         compact major;

Notes

  • Pour exécuter manuellement la compaction, définissez l'indicateur suivant.

     set odps.merge.task.mode=service;
  • La compaction crée de nouveaux fichiers. Bien que cela améliore l'efficacité des requêtes, cela augmente également les coûts de stockage. Choisissez une fréquence de déclenchement qui équilibre ces compromis en fonction de votre scénario.

  • La compaction utilise des ressources de calcul pour lire et réécrire les données. Si vous utilisez la facturation au paiement à l'utilisation, la compaction vous est facturée. Le coût est calculé comme suit : Volume de données analysées × 1 × Prix unitaire. Si vous optez pour la facturation par abonnement, la compaction consomme le quota de ressources de calcul de votre abonnement.

Exemples

--Create a table
create table mf_dt (pk bigint not null primary key, val bigint not null) 
             partitioned by (dd string, hh string) 
             tblproperties ("transactional"="true");
--Insert data            
insert into table mf_dt partition(dd='01', hh='01') values (1, 1), (2, 2);
insert into table mf_dt partition(dd='01', hh='01') values (2, 20), (3, 3);
insert into table mf_dt partition(dd='01', hh='01') values (3, 30), (4, 4);

--Run compaction. After the operation completes, you can still query historical data.
set odps.merge.task.mode=service;
alter table mf_dt partition(dd='01', hh='01') compact major;
select * from mf_dt timestamp as of get_latest_timestamp('mf_dt') where dd='01' and hh='01';
select * from mf_dt timestamp as of get_latest_timestamp('mf_dt', 2) where dd='01' and hh='01';