AnalyticDB:Apache Spark Confidential Computing Engine の高性能版の使用例

Confidential Computing を有効にし、カスタマーマスターキーを設定して、データベースを作成します。

-- ネイティブコンピューティングを有効にします。
SET spark.adb.native.enabled=true;
-- リソースを設定します。
SET spark.driver.resourceSpec=medium;
SET spark.executor.instances=2;
SET spark.executor.resourceSpec=medium;
SET spark.app.name=Spark SQL Encryption Test;
-- 暗号文の読み書きを有効にし、マスターキーのリスト、KMS クライアント、CryptoFactory を設定します。これを有効にすると、エンジンはプレーンテキストと暗号文の両方をサポートします。
SET spark.hadoop.parquet.encryption.key.list=kf:MDEyMzQ1Njc4OTAxMjM0****,kc1:bvCDwqcOJGSdZSEMLjfk****,kc2:kflI/sq+uf50Qhl1MmtG****;
SET spark.hadoop.parquet.encryption.kms.client.class=io.glutenproject.encryption.InMemoryKMS;
SET spark.hadoop.parquet.crypto.factory.class=org.apache.parquet.crypto.keytools.PropertiesDrivenCryptoFactory;
-- データベースを作成します。
CREATE database IF NOT EXISTS adb_external_db;

パラメーターの説明：

プレーンテキストデータを格納するために、customer という名前の外部テーブルを作成します。LOCATION パラメーターは、プレーンテキストデータの OSS パスを指定します。この例では、oss://testBucketName/adb/Spark/customer を使用します。

SET spark.adb.native.enabled=true;
SET spark.hadoop.parquet.encryption.key.list=kf:MDEyMzQ1Njc4OTAxMjM0****,kc1:bvCDwqcOJGSdZSEMLjfk****,kc2:kflI/sq+uf50Qhl1MmtG****;
SET spark.hadoop.parquet.encryption.kms.client.class=io.glutenproject.encryption.InMemoryKMS;
SET spark.hadoop.parquet.crypto.factory.class=org.apache.parquet.crypto.keytools.PropertiesDrivenCryptoFactory;
CREATE TABLE IF NOT EXISTS adb_external_db.customer 
 (
    c_custkey long,
    c_name       string,
    c_address    string,
    c_nationkey long,
    c_phone      string,
    c_acctbal    decimal(12, 2),
    c_mktsegment string,
    c_comment    string
)
USING parquet 
LOCATION 'oss://testBucketName/adb/Spark/customer';

暗号文データを格納するために、enc_customer という名前の外部テーブルを作成します。この例では、enc_customer 外部テーブルは oss://testBucketName/adb/Spark/enc_customer に格納されます。

SET spark.adb.native.enabled=true;
SET spark.hadoop.parquet.encryption.key.list=kf:MDEyMzQ1Njc4OTAxMjM0****,kc1:bvCDwqcOJGSdZSEMLjfk****,kc2:kflI/sq+uf50Qhl1MmtG****;
SET spark.hadoop.parquet.encryption.kms.client.class=io.glutenproject.encryption.InMemoryKMS;
SET spark.hadoop.parquet.crypto.factory.class=org.apache.parquet.crypto.keytools.PropertiesDrivenCryptoFactory;
CREATE TABLE IF NOT EXISTS adb_external_db.enc_customer
USING Parquet
OPTIONS (
 'parquet.encryption.column.keys'='kc1:c_name;kc2:c_phone',
 'parquet.encryption.footer.key'='kf'
)
LOCATION 'oss://testBucketName/adb/Spark/enc_customer'
AS
SELECT *
FROM adb_external_db.customer;

パラメーターの説明：

(オプション) 外部テーブル customer を削除します。

DROP TABLE IF EXISTS adb_external_db.customer;

customer_output という名前の外部テーブルを作成します。enc_customer_output テーブルのデータを復号し、復号したデータを customer_output 外部テーブルに書き込みます。customer_output 外部テーブルのデータは oss://testBucketName/adb/Spark/customer_output に格納されます。

SET spark.adb.native.enabled=true;
SET spark.hadoop.parquet.encryption.key.list=kf:MDEyMzQ1Njc4OTAxMjM0****,kc1:bvCDwqcOJGSdZSEMLjfk****,kc2:kflI/sq+uf50Qhl1MmtG****;
SET spark.hadoop.parquet.encryption.kms.client.class=io.glutenproject.encryption.InMemoryKMS;
SET spark.hadoop.parquet.crypto.factory.class=org.apache.parquet.crypto.keytools.PropertiesDrivenCryptoFactory;
CREATE TABLE IF NOT EXISTS adb_external_db.customer_output
USING Parquet
LOCATION 'oss://testBucketName/adb/Spark/customer_output'
AS
SELECT *
FROM adb_external_db.enc_customer_output;

customer_output テーブルのデータをクエリします。

SELECT * FROM adb_external_db.customer_output;

AnalyticDB for MySQL コンソールにログインします。コンソールの左上でリージョンを選択します。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。管理するクラスターを見つけて、クラスター ID をクリックします。

左側のナビゲーションウィンドウで、[ジョブ開発] > [SQL 開発] を選択します。

[SQLConsole] タブで、Spark エンジンとジョブリソースグループを選択します。

次の文を実行して、暗号文テーブルを作成します。

OSS パス oss://testBucketName/adb/Spark/enc_customer_output から暗号文の計算結果をローカルデバイスにダウンロードします。詳細については、「ファイルのダウンロード」をご参照ください。

暗号文の結果データセットを復号し、復号したファイルを customer_output として保存します。

// 暗号文データセットを復号します。
val conf = new SparkConf()
.set("spark.hadoop.parquet.encryption.kms.client.class", "org.apache.parquet.crypto.keytools.mocks.InMemoryKMS")
.set("spark.hadoop.parquet.encryption.key.list", "kf:MDEyMzQ1Njc4OTAxMjM0****,kc1:bvCDwqcOJGSdZSEMLjfk****,kc2:kflI/sq+uf50Qhl1MmtG****")
.set("spark.hadoop.parquet.crypto.factory.class", "org.apache.parquet.crypto.keytools.PropertiesDrivenCryptoFactory")
val spark = SparkSession.builder().appName("SquareDataFrame").config(conf).getOrCreate()
val df2 = spark.read.parquet("enc_customer_output")
// 復号したファイルをローカルデバイスにダウンロードします。
df2.write
.parquet("customer_output")