DataWorks:MaxCompute テーブルの作成と使用

DataStudio への移動

DataWorks コンソールにログインします。 ターゲットリージョンで、左側のナビゲーションウィンドウにあるデータ開発と О&М > データ開発をクリックします。 ドロップダウンリストからワークスペースを選択し、入力 データ開発をクリックします。

MaxCompute テーブルの作成

エントリポイント

DataWorks のテーブル管理ディレクトリでテーブルを作成するか、特定のビジネスプロセス用にテーブルを作成することができます。

• テーブル管理から作成

  DataStudio の左側のナビゲーションウィンドウで、[テーブル管理] を選択し、 アイコンをクリックしてテーブルを作成します。左側のナビゲーションウィンドウに [テーブル管理] が表示されない場合は、「UI のカスタマイズ」を参照して追加してください。

• ビジネスプロセスから作成

  DataWorks はビジネスプロセスを使用してコードを整理および管理し、それに関連するテーブルを作成できます。ビジネスプロセスがない場合は、まず作成してください。詳細については、「ビジネスプロセス」をご参照ください。ビジネスプロセスが存在する場合は、ビジネスプロセスを右クリックし、Create Table > MaxCompute > Table を選択します。

  重要

  ボタンが見つからない場合は、MaxCompute コンピューティングリソースがワークスペースにバインドされていることを確認してください。

テーブルの基本情報の構成

テーブルを作成すると、テーブル編集ページが表示されます。このページでは、DataWorks はテーブル情報を構成するための DDL モードと GUI モードの 2 つの方法をサポートしています。

• DDL モードを使用したテーブルの構成

  テーブル編集ページで、 アイコンをクリックし、標準の MaxCompute テーブル作成ステートメントを使用してテーブルスキーマを生成します。データ定義言語 (DDL) を使用してスキーマを生成すると、DataWorks はページ上の構成を自動的に入力します。タスクのコーディングに慣れている場合は、この方法を使用できます。

  重要

  • テーブル名は、テーブル編集ページに移動する前に定義されます。DDL ステートメントでテーブル名を変更することはできません。変更すると、エラーが報告されます。

  • DDL モードでは、コマンドを使用してテーブルの物理プロパティのみを定義できます。DDL ステートメントが実行され、ページが入力された後、テーブル編集ページでテーブルのビジネスプロパティを編集できます。

• GUI を使用したテーブルの構成

  テーブル編集ページの指示に基づいてテーブルプロパティを構成します。便利なビジュアル操作を実行したい場合は、この方法を使用できます。次の例では、GUI モードでテーブル情報を構成する方法について説明します。

  1. 設定： General。次の表で、主なパラメーターについて説明します。

     パラメーター	説明
     Display Name	テーブルの表示名です。
     Theme	DataWorks では、テーマはフォルダのように機能し、テーブルの第 1 レベルと第 2 レベルの場所を定義します。ビジネス目的に基づいてテーブルを分類し、同じタイプのテーブルを同じフォルダに追加できます。 説明 第 1 レベルと第 2 レベルのテーマは、DataWorks のテーブル管理ページにフォルダとして表示され、テーブル管理を容易にします。[テーブル管理] ページでテーマ別に現在のテーブルをすばやく見つけることができます。利用可能なテーマがない場合は、作成できます。詳細については、「テーブルテーマの定義」をご参照ください。

  2. Physical Model。次の表にパラメーターを示します。

     パラメーター	説明
     Layer	テーブルが属するデータウェアハウスレイヤーを指定します。レイヤーは、データウェアハウス構造の定義と管理に役立ちます。レイヤーは、オペレーショナルデータストア (ODS) 層、ディメンション (DIM) 層、データウェアハウス詳細 (DWD) 層、データウェアハウスサマリー (DWS) 層、およびアプリケーションデータサービス (ADS) 層に分けることができます。ビジネス目的に基づいて、テーブルを適切なレイヤーに追加できます。 説明 レイヤーをカスタマイズすることもできます。詳細については、「レイヤーの管理」をご参照ください。
     物理カテゴリ	テーブルの物理カテゴリです。このパラメーターは、ビジネスの観点からテーブルをより詳細に分類するために使用されます。カテゴリには、基本ビジネスレイヤー、高度ビジネスレイヤー、その他が含まれます。 説明 物理カテゴリをカスタマイズすることもできます。詳細については、「カテゴリの管理」をご参照ください。
     Lifecycle	テーブルのライフサイクルです。 MaxCompute テーブルのライフサイクルの詳細については、「ライフサイクル」をご参照ください。 MaxCompute テーブルのライフサイクル操作の詳細については、「ライフサイクル操作」をご参照ください。
     Partition Type	テーブルがパーティションテーブルか非パーティション化テーブルかを指定します。MaxCompute のパーティションテーブルと非パーティション化テーブルの詳細については、「パーティション」をご参照ください。
     Table Type	テーブルが内部テーブルか外部テーブルかを指定します。内部テーブルには MaxCompute が管理するデータが含まれており、通常はクエリが高速になります。外部テーブルは他の場所のデータを参照するため、データをインポートせずにクエリを実行でき、ストレージ容量を節約できます。MaxCompute の内部テーブルと外部テーブルの詳細については、「テーブル」をご参照ください。

  3. Schema。[テーブルスキーマの設計] セクションには、フィールド定義とパーティション設定のエリアが含まれています。フィールド定義エリアには、[フィールドの追加]、[上に移動]、[下に移動] ボタンがあります。このエリアの列には、[フィールド名]、[表示名]、[長さ/設定]、[説明]、および [アクション] ([保存] と [キャンセル]) が含まれます。パーティション設定エリアでは、[パーティションの追加] をクリックしてパーティションキーを追加し、その [日付パーティション形式] (例：yyyymmdd) と [日付パーティションの粒度] を設定できます。次の表に、主なパラメーターを示します。

     パラメーター	説明
     Field Type	フィールドのデータ型です。ドロップダウンリストから MaxCompute がサポートするデータ型のみを選択できます。MaxCompute のデータ型の詳細については、「データ型のエディション」をご参照ください。
     Field Security Level	フィールドのセキュリティレベルです。このパラメーターは、MaxCompute プロジェクトでラベルベースのアクセス制御が有効になっている場合にのみ使用できます。MaxCompute のフィールドセキュリティレベルの詳細については、「ラベルベースのアクセス制御」をご参照ください。
     Primary Key	ビジネスプライマリキーを指定します。MaxCompute テーブルはプライマリキーを強制しないことに注意してください。このパラメーターは、ビジネスレベルの管理とデータモデリングの目的でのみ使用されます。

テーブルのコミットと公開

テーブルスキーマを定義した後、テーブルを開発環境にコミットし、次に本番環境に公開する必要があります。

テーブルへの書き込みとエクスポート

次のセクションで説明するように、MaxCompute テーブルにデータを書き込んだり、エクスポートしたりできます。

データの書き込み

データ統合タスクまたは MaxCompute ノードタスクを使用して、MaxCompute テーブルにデータを書き込むことができます。さらに、DataWorks では [データのアップロード] 機能を使用して、ローカルデータを MaxCompute テーブルにインポートできます。

データのエクスポート

DataStudio でデータをクエリした後、クエリ結果ページで Download をクリックして、データをローカルコンピューターにエクスポートできます。デフォルトでは、一度に最大 10,000 レコードをダウンロードできます。テナント管理者とテナントセキュリティ管理者は、セキュリティセンターの [データクエリと分析制御] ページに移動して、一度にダウンロードできるレコードの最大数を設定できます。

MaxCompute テーブル内のデータのクエリ

ODPS SQL ノードまたは アドホッククエリ機能を使用して SQL ステートメントを実行し、MaxCompute テーブルのデータをクエリできます。

デフォルトの権限

基本モードのワークスペースには、詳細な権限制御と環境の隔離がありません。以下の例では、標準モードのワークスペースを想定しています。

データアクセス動作

MaxCompute はプロジェクト間のテーブルクエリをサポートしています。したがって、DataStudio ページでプロジェクト名を指定して、DataWorks ワークスペース内のプロジェクト間で本番データをクエリできます。次の表に、プロジェクト間のテーブルにアクセスする方法と、異なるページで実行に使用されるアカウントを示します。

select col1 from projectname_dev.tablename;

select col1 from projectname.tablename;

select col1 from tablename;

MaxCompute データ資産の表示

次のセクションで説明するように、MaxCompute データ資産を表示できます。

テナント内の本番テーブルの表示

データ開発の [テナントテーブル] モジュールでは、ご利用の Alibaba Cloud アカウントに属する現在のリージョンのすべての本番テーブルを表示できます。

メタデータの表示

[データマップ] に移動して、MaxCompute テーブルの詳細とメタデータを表示できます。

テーブルリネージの表示

[データマップ] のテーブル詳細ページで、テーブルの上流および下流のリネージを表示できます。

テーブルの一括管理

次のセクションで説明するように、MaxCompute テーブルを一括で管理できます。

テーブルの一括削除

テーブル所有者の一括変更

DataMap の [マイデータ] に移動して、所有するテーブルの所有者を一括で変更できます。

テーブルライフサイクルの一括変更

DataMap の [マイデータ] に移動して、所有するテーブルのライフサイクルを一括で変更できます。