AnalyticDB:Spark SQLを使用してDLFによって管理されるデータを読み取る

前提条件

• AnalyticDB for MySQL Data Lakehouse Edition クラスタが作成されます。

• AnalyticDB for MySQL クラスタのジョブリソースグループが作成されている。 詳細については、「リソースグループを作成および管理する」をご参照ください。

• AnalyticDB for MySQL クラスタのデータベースアカウントが作成されている。

  • Alibaba Cloud アカウントを使用している場合は、特権アカウントのみを作成する必要があります。 詳細については、「データベースアカウントを作成する」トピックの「特権アカウントを作成する」セクションをご参照ください。

  • Resource Access Management (RAM) ユーザーを使用している場合は、特権アカウントと標準アカウントを作成し、標準アカウントを RAM ユーザーに関連付ける必要があります。 詳細については、「データベースアカウントを作成する」および「データベースアカウントを RAM ユーザーに関連付ける、または関連付けを解除する」をご参照ください。

• AnalyticDB for MySQL が、AliyunADBSparkProcessingDataRole ロールを引き受けて他のクラウドリソースにアクセスすることを承認されている。 詳細については、「承認を実行する」をご参照ください。

• DLF がアクティブ化されており、AnalyticDB for MySQL クラスタと同じリージョンにカタログが作成されている。 詳細については、カタログトピックの「詳細については、「カタログを作成する」セクションをご参照ください。

手順

1. AnalyticDB for MySQL コンソール にログオンします。 コンソールの左上隅で、リージョンを選択します。 左側のナビゲーションウィンドウで、クラスターリスト をクリックします。 Data Lakehouse Edition タブで、管理するクラスタを見つけ、クラスタ ID をクリックします。

2. 左側のナビゲーションウィンドウで、ジョブを開発する > Sql開発 を選択します。

3. [sqlconsole] タブで、[spark] エンジンとジョブリソースグループを選択します。

4. 次の Spark SQL 文を記述します。

   SET spark.hadoop.dlf.catalog.accessKeyId=****************;
   SET spark.hadoop.dlf.catalog.accessKeySecret=****************;
   SET spark.hadoop.dlf.catalog.id=default;
   SET spark.sql.hive.metastore.version=dlf;
   SHOW DATABASES;

   次の表にパラメーターを示します。

   パラメーター	必須	説明
   spark.hadoop.dlf.catalog.accessKeyId	はい	DLF にアクセスする権限を持つ Alibaba Cloud アカウントまたは Resource Access Management (RAM) ユーザーの AccessKey ID です。DLF。 AccessKey ID と AccessKey シークレットの取得方法については、「アカウントと権限」をご参照ください。
   spark.hadoop.dlf.catalog.accessKeySecret	はい	アクセスが許可されている Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey シークレットDLF にアクセスすることを承認されている Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey シークレット。 。 AccessKey ID と AccessKey シークレットの取得方法については、「アカウントと権限」をご参照ください。
   spark.hadoop.dlf.catalog.id	はい	カタログ ID。 詳細については、カタログトピックの「カタログをクエリする」セクションをご参照ください。
   spark.sql.hive.metastore.version	はい	Metastore サービスのバージョンです。値を dlf に設定します。

   その他のパラメーターについては、「Spark アプリケーション構成パラメーター」をご参照ください。

5. [クリック] [実行] をクリックします。 文が実行された後、。文が実行された後、 [クリック] ログ [アクション] 列の アプリケーション[spark JAR 開発] ページの 詳細については、「Spark アプリケーションに関する情報を表示する タブにある [アクション] 列の をクリックしてデータを表示できます。 詳細については、Spark エディタートピックの「」セクションをご参照ください。