Delta Lake パラメーター - E-MapReduce - Alibaba Cloud ドキュメントセンター

このトピックでは、Delta の重要なパラメーターについて説明します。

Delta には 3 つのタイプのパラメーターがあります。

Spark SQL パラメーター。SQL ステートメントを実行するために使用されます。
ランタイムパラメーター。セッションで動的に構成できます。これらのパラメーターには、spark.databricks.delta. というプレフィックスが付きます。
非ランタイムパラメーター。Spark 構成ファイルでグローバルパラメーターとして構成するか、CREATE TABLE ステートメントの TBLPROPERTIES 句でテーブルパラメーターとして指定することのみ可能です。テーブルパラメーターはグローバルパラメーターよりも優先されます。グローバルパラメーターには、spark.databricks.delta.properties.defaults. というプレフィックスが付きます。テーブルパラメーターには、delta. というプレフィックスが付きます。

パラメーター	説明
`spark.databricks.delta.snapshotPartitions`	デフォルト値：10。 Delta ログメタデータのパーティション数。 Delta ログのボリュームが大きい場合は、このパラメーターを大きな値に設定します。 Delta ログのボリュームが小さい場合は、このパラメーターを小さな値に設定します。このパラメーターは、Delta テーブルの解析パフォーマンスに大きな影響を与えます。
`spark.databricks.delta.retentionDurationCheck.enabled`	デフォルト値：true。削除マーカーを削除するときに保存期間を確認するかどうかを指定します。警告最近マージされた小さなファイルを削除する場合は、このパラメーターを false に設定して保存期間チェックを無効にすることができます。ただし、デフォルト値を使用することをお勧めします。そうしないと、最近生成されたデータが削除され、データの読み取り/書き込みエラーが発生する可能性があります。
`spark.databricks.delta.schema.autoMerge.enabled`	デフォルト値：false。 Delta は、書き込まれたデータが宛先テーブルのスキーマと一致するかどうかを確認して、書き込まれたデータが正しいことを確認できます。データのスキーマが変更された場合は、データを書き込むときに `mergeSchema` オプションを true に設定します。これにより、Delta は書き込まれたデータのスキーマを宛先テーブルのスキーマとマージできます。また、spark.databricks.delta.schema.autoMerge.enabled パラメーターを true に設定して、データスキーマが変更されたときに自動マージを有効にすることもできます。ただし、このパラメーターを true に設定しないことをお勧めします。代わりに、mergeSchema オプションを使用して明示的にマージを有効にしてください。
`spark.databricks.delta.properties.defaults.deletedFileRetentionDuration` または `delta.deletedFileRetentionDuration`	デフォルト値：interval 1 week。 Delta 削除マーカーの保存期間。 `spark.databricks.delta.retentionDurationCheck.enabled` パラメーターが true に設定されている場合、保存期間内の削除マーカーを削除しようとすると例外がスローされます。説明保存期間は 1 時間以上にする必要があります。
`spark.databricks.delta.properties.defaults.logRetentionDuration` または `delta.logRetentionDuration`	デフォルト値：interval 30 days。 Delta ログファイルの有効期間。 Delta ログファイルは、次のいずれかの条件が満たされると期限切れになります。ログファイルに対応するデータファイルが圧縮される。ログファイルの有効期間が終了する。 Delta が Delta ログのチェックポイントファイルを生成すると、期限切れの Delta ログファイルがチェックされ、削除されます。これは、ログファイルが無限に増大するのを防ぐためです。
`spark.sql.sources.parallelPartitionDiscovery.parallelism`	デフォルト値：1000。 Delta がファイルのスキャンに使用する並列タスクの数。ファイルの数が少ない場合は、このパラメーターを小さな値に設定します。 vacuum コマンドでのみ使用できます。このパラメーターの設定が不適切だと、vacuum コマンドのファイルスキャン効率に影響します。説明このパラメーターは Spark SQL パラメーターです。