Dataphin:データのクエリとダウンロード

背景情報

アドホッククエリは、現在のプロジェクトで設定されているコンピューティングエンジンを使用します。Hadoop コンピューティングエンジンを使用する場合は、[Impala Task] を有効化できます。これにより、Impala SQL と Hive SQL の両方のアドホッククエリタスクを作成できます。Impala はインメモリコンピューティングを実行するため、Impala SQL のアドホッククエリは、Hive SQL のアドホッククエリよりもレスポンスタイムが高速です。また Dataphin では、Impala SQL と Hive SQL のタスクタイプを迅速に切り替えられるため、既存タスクのコードを書き直す必要がありません。詳細については、「付録：タスクタイプの切り替え」をご参照ください。

使用制限

クエリアクセラレーションサービスを購入していない場合、アドホッククエリのクエリアクセラレーションは使用できません。

アドホッククエリの作成

1. Dataphin ホームページのトップナビゲーションバーで、[開発] > [データ開発] を選択します。

2. 上部メニューで [Project] を選択します。Dev-Prod モードの場合は、[Environment] も選択する必要があります。

3. 左側のナビゲーションペインで [アドホッククエリ] を選択し、アドホッククエリリストで アイコンをクリックすると、[Compute Engine のアドホッククエリ] または [Database SQL のアドホッククエリ] を作成できます。

4. [Create Ad-hoc Query] ダイアログボックスで、次のパラメーターを設定します。

   説明

   コンピューティングエンジンが Hadoop で、Impala タスクが有効になっている場合、[Hive SQL アドホッククエリ] または [Impala SQL アドホッククエリ] を作成できます。

   パラメーター	説明
   [Name]	アドホッククエリの名前を入力します。 名前は 256 文字以内で、次の特殊文字を含めることはできません：|、/、\、:、?、<>、*、"
   [Description]	アドホッククエリの簡単な説明を入力します。
   [Select Directory]	タスクを保存するディレクトリを選択します。デフォルトでは、[一時コード] が選択されています。 ディレクトリが存在しない場合は、[New Folder] を作成できます。手順は次のとおりです： 左側のコンピューティングタスクリストの上にある アイコンをクリックして、[新規フォルダー] ダイアログボックスを開きます。 [新規フォルダー]ダイアログボックスで、フォルダーの[名前]を入力し、必要に応じて[ディレクトリを選択]します。 [OK] をクリックします。
   [データソースタイプ]	SQL タスクのデータソースタイプを選択します。サポートされているデータソースタイプの一覧については、「Data sources supported by Dataphin」の [Offline Development - Database SQL] 列をご参照ください。 説明 このパラメーターは、[データベース SQL 向けアドホッククエリ] を作成する場合にのみ使用できます。
   [Data Source]	アドホッククエリ用のデータソースを選択します。利用可能なデータソースがない場合は、[+ 新しいデータソース] をクリックして作成します。 説明 このパラメーターは、[データベース SQL 向けアドホッククエリ] を作成する場合にのみ使用できます。
   [Catalog]	データソースタイプが [Presto] または [Trino] の場合は、データソースを選択した後にカタログも設定する必要があります。
   [Database/Schema]	データソースタイプが [MySQL]、[PostgreSQL]、[AnalyticDB for PostgreSQL]、[Oracle]、[Presto]、[GaussDB (DWS)]、[Microsoft SQL Server]、[ClickHouse]、[Hologres]、[Doris]、[openGauss]、[StarRocks]、[DM]、[OceanBase (Oracle tenant mode)]、[SelectDB]、[Trino]、[PolarDB-X 2.0]、[TDSQL for MySQL]、[TDSQL for PostgreSQL]、[TDengine]、または [GBase 8a] の場合は、データソースを選択した後にスキーマも設定する必要があります。

5. アドホッククエリファイルを作成するには、[OK] をクリックします。

6. (オプション) クエリアクセラレーションを設定して有効化します。この機能を有効化した後は、アクセラレーション方法を選択する必要があります。

   [MCQA]：MaxCompute クエリアクセラレーション (MCQA)。MCQA は、テナントごとの総ジョブ数と同時実行ジョブ数を制限するため、アクセラレーションの失敗や実行エラーが発生する可能性があります。詳細については、「Query Acceleration (MCQA)」をご参照ください。[管理センター] > [システム設定] > [開発プラットフォーム] > [クエリアクセラレーション] で、MCQA アクセラレーションを無効化できます。

   サポートされるアクセラレーション方法は、コンピューティングエンジンやその他の条件によって異なります。

   現在のテナントが Hadoop コンピューティングエンジンを使用している場合：クエリアクセラレーションサービスを購入しており、プロジェクトのコンピューティングエンジンのクラスターがアクセラレーションソースにバインドされている場合、Hive SQL、Impala SQL、Spark SQL のアドホッククエリタスクのアクセラレーション方法はアクセラレーションソースです。

7. プロジェクトのコンピューティングエンジン、データベース SQL タイプに対応する構文を使用して、クエリコードを記述します。

8. コードを記述したら、エディターの上部にある[実行]をクリックします。

9. クエリが正常に実行されると、[コンソール] で結果を表示できます。

結果のダウンロード

1. クエリが正常に実行されたら、コンソール右上の アイコンをクリックして、クエリ結果をダウンロードします。

2. [データダウンロード] ダイアログボックスで、[ダウンロードデータ範囲] と [ダウンロードデータ形式] を選択します。

   • [ダウンロードデータ範囲]：[全データ] または [サンプルデータ] のいずれかをダウンロードできます。

     • [全量データダウンロード]：全量データのダウンロードには時間がかかる場合があります。メッセージセンターまたは実行ログでダウンロードの進捗を確認できます。

       重要

       全量データダウンロードを実行するために、システムはクエリ文に基づいて一時テーブルを作成します。Hadoop コンピューティングエンジンを使用する Spark SQL のアドホッククエリの場合、一時テーブルは [管理センター] > [システム設定] > [開発プラットフォーム] > [テーブル管理設定] で指定されているデフォルトのストレージフォーマットを使用して作成されます。

       たとえば、テーブル管理設定のデフォルトのストレージフォーマットが [hudi] の場合、一時テーブルの作成時に using hudi が追加されます。デフォルトのストレージフォーマットが [エンジンデフォルト] の場合、一時テーブルの作成時に特定のストレージフォーマットは指定されません。

     • [サンプルデータダウンロード]：デフォルトでは、すべてのクエリはデータの一部を返します。サンプルデータのレコード数は、[管理センター] > [標準設定] > [data download] で設定できます。詳細については、「Configure data download」をご参照ください。

   • [ダウンロードデータ形式]: サンプルデータは [CSV] または [Excel] 形式でダウンロードできます。全データは [CSV] 形式でのみダウンロードできます。

3. [OK] をクリックしてダウンロードを開始します。

   フルデータをダウンロードする場合、[OK] をクリックするとデータの準備が開始されます。フルデータの準備が完了したら、もう一度 [OK] をクリックするとダウンロードが開始されます。

付録：タスクタイプの切り替え

この機能は、プロジェクトのコンピューティングエンジンが Hadoop コンピューティングエンジンであり、Impala タスクが有効になっている場合に使用できます。Impala SQL と Hive SQL のタスクタイプを切り替えることができます。

1. 「アドホッククエリ」リストで、Impala SQL または Hive SQL タスクを見つけ、タスク名の横にある アイコンをクリックし、[タイプを変更] を選択します。

2. [タイプの変更] ダイアログボックスで、新しいタスクタイプを選択します。下図は、Impala SQL タスクから Hive SQL タスクに切り替える例を示しています。

3. [OK] をクリックしてタスクタイプを切り替えます。