DataWorks:外部テーブル

外部テーブルを使用する前に、次の表で説明する概念を理解してください。

外部テーブルの全体的な処理アーキテクチャを次の図に示します。

MaxCompute は、OSS や Tablestore などの非構造化ストレージサービスのデータ用の外部テーブルの作成をサポートしています。非構造化処理フレームワークは、MaxCompute プラットフォームのデータインポートとエクスポートを処理します。OSS 外部テーブルを例に、処理ロジックを以下に示します。

1. 非構造化フレームワークは、外部の OSS データを変換し、Java の InputStream クラスを介してカスタムコードに提供します。EXTRACT ロジックを実装して、InputStream からの入力を読み取り、解析、変換、計算し、MaxCompute が処理できる汎用の Record フォーマットでデータを返すことができます。

2. これらのレコードは、MaxCompute の SQL ロジックを使用して処理できます。この計算は、MaxCompute の組み込みの構造化 SQL エンジンに基づいており、新しいレコードを生成する場合があります。

3. システムは、処理されたレコードをカスタムの OUTPUT ロジックに渡して、さらに変換します。その後、システムが提供する OutputStream を使用して、レコードから必要な情報を OSS に書き込むことができます。

MaxCompute が OSS データにアクセスするには、安全な権限付与チャンネルが必要です。MaxCompute は、Alibaba Cloud の Resource Access Management (RAM) と Security Token Service (STS) を使用して、安全なデータアクセスを保証します。権限をリクエストする際、MaxCompute はテーブル作成者の ID で STS に権限を申請します。Tablestore の権限設定は OSS と同じです。

1. STS 権限付与

   OSS データにアクセスするには、MaxCompute のアクセスアカウントに適切な権限を割り当てる必要があります。STS は、RAM が提供する安全なトークン管理サービスです。これにより、権限を与えられたクラウドサービスまたは RAM ユーザーが、カスタムの有効期間と権限を持つ一時的なアクセストークンを発行できます。これらのトークンを取得したアプリケーションは、Alibaba Cloud API を呼び出してリソースにアクセスできます。

   権限は、次の 2 つの方法のいずれかで付与できます。

   • MaxCompute プロジェクトと OSS バケットが同じ Alibaba Cloud アカウントに属している場合は、アカウントでログインした後にワンクリック認可を実行できます。

     1. 新しいテーブルのエディターページを開き、Physical Model セクションに移動します。

     2. Table Type で、External Table を選択します。

     3. Storage Address の横にある Authorize をクリックします。その後、もう一度 [認可] をクリックします。

     4. [クラウドリソースアクセス認可] ダイアログボックスで、同意権限 をクリックします。認可ページで、ODPS サービスが OSS および Tablestore リソースにアクセスするために使用する AliyunODPSDefaultRole ロールを選択します。その後、[認可の確認] をクリックします。

   • カスタム権限付与を使用して、RAM コンソールで MaxCompute に OSS へのアクセスを許可します。

     1. RAM コンソールにログインします。

        説明

        MaxCompute と OSS が異なるアカウントに属している場合は、OSS アカウントでログインして権限を付与します。

     2. 左側のナビゲーションウィンドウで、[アイデンティティ] > Roleを選択します。

     3. [ロールの作成] をクリックし、信頼できるエンティティとして Alibaba Cloud Account を選択し、Next をクリックします。

     4. ロール名 と Remarks を入力します。

        説明

        ロール名を AliyunODPSDefaultRole または AliyunODPSRoleForOtherUser に設定します。

     5. [信頼できる Alibaba Cloud アカウントの選択] で、Current Alibaba Cloud Account または Another Alibaba Cloud Account を選択します。

        説明

        Another Alibaba Cloud Account を選択した場合は、他のアカウントの ID を入力する必要があります。

     6. [OK] をクリックします。

     7. ロールの詳細を構成します。

        ロール管理ページで、RAM ロールの名前をクリックします。[信頼ポリシー] タブで、[信頼ポリシーの編集] をクリックし、シナリオに基づいて次のポリシーコンテンツを入力します。

        -- MaxCompute プロジェクトと OSS バケットが同じアカウントに属する場合。
        {
        "Statement": [
        {
        "Action": "sts:AssumeRole",
        "Effect": "Allow",
        "Principal": {
        "Service": [
        "odps.aliyuncs.com"
              ]
            }
          }
        ],
        "Version": "1"
        }                                           

        -- MaxCompute プロジェクトと OSS バケットが異なるアカウントに属する場合。
        {
        "Statement": [
        {
        "Action": "sts:AssumeRole",
        "Effect": "Allow",
        "Principal": {
        "Service": [
        "MaxCompute プロジェクトを所有する Alibaba Cloud アカウントの ID@odps.aliyuncs.com"
              ]
            }
          }
        ],
        "Version": "1"
        }

        構成が完了したら、[信頼ポリシーの保存] をクリックします。

     8. ロールの権限付与ポリシーを構成します。ロールが OSS にアクセスするために必要な AliyunODPSRolePolicy ポリシーを見つけてアタッチします。検索してもこのポリシーが見つからない場合は、カスタムポリシーを作成できます。

        {
            "Version": "1",
            "Statement": [
                {
                    "Action": [
                        "oss:ListBuckets",
                        "oss:GetObject",
                        "oss:ListObjects",
                        "oss:PutObject",
                        "oss:DeleteObject",
                        "oss:AbortMultipartUpload",
                        "oss:ListParts"
                    ],
                    "Resource": "*",
                    "Effect": "Allow"
                },
                {
                    "Action": [
                        "ots:ListTable",
                        "ots:DescribeTable",
                        "ots:GetRow",
                        "ots:PutRow",
                        "ots:UpdateRow",
                        "ots:DeleteRow",
                        "ots:GetRange",
                        "ots:BatchGetRow",
                        "ots:BatchWriteRow",
                        "ots:ComputeSplitPointsBySize"
                    ],
                    "Resource": "*",
                    "Effect": "Allow"
                },
                {
                    "Action": [
                        "pvtz:DescribeRegions",
                        "pvtz:DescribeZones",
                        "pvtz:DescribeZoneInfo",
                        "pvtz:DescribeVpcs",
                        "pvtz:DescribeZoneRecords"
                    ],
                    "Resource": "*",
                    "Effect": "Allow"
                },
                {
                    "Action": [
                        "dlf:CreateFunction",
                        "dlf:BatchGetPartitions",
                        "dlf:ListDatabases",
                        "dlf:CreateLock",
                        "dlf:UpdateFunction",
                        "dlf:BatchUpdateTables",
                        "dlf:DeleteTableVersion",
                        "dlf:UpdatePartitionColumnStatistics",
                        "dlf:ListPartitions",
                        "dlf:DeletePartitionColumnStatistics",
                        "dlf:BatchUpdatePartitions",
                        "dlf:GetPartition",
                        "dlf:BatchDeleteTableVersions",
                        "dlf:ListFunctions",
                        "dlf:DeleteTable",
                        "dlf:GetTableVersion",
                        "dlf:AbortLock",
                        "dlf:GetTable",
                        "dlf:BatchDeleteTables",
                        "dlf:RenameTable",
                        "dlf:RefreshLock",
                        "dlf:DeletePartition",
                        "dlf:UnLock",
                        "dlf:GetLock",
                        "dlf:GetDatabase",
                        "dlf:GetFunction",
                        "dlf:BatchCreatePartitions",
                        "dlf:ListPartitionNames",
                        "dlf:RenamePartition",
                        "dlf:CreateTable",
                        "dlf:BatchCreateTables",
                        "dlf:UpdateTableColumnStatistics",
                        "dlf:ListTableNames",
                        "dlf:UpdateDatabase",
                        "dlf:GetTableColumnStatistics",
                        "dlf:ListFunctionNames",
                        "dlf:ListPartitionsByFilter",
                        "dlf:GetPartitionColumnStatistics",
                        "dlf:CreatePartition",
                        "dlf:CreateDatabase",
                        "dlf:DeleteTableColumnStatistics",
                        "dlf:ListTableVersions",
                        "dlf:BatchDeletePartitions",
                        "dlf:ListCatalogs",
                        "dlf:UpdateTable",
                        "dlf:ListTables",
                        "dlf:DeleteDatabase",
                        "dlf:BatchGetTables",
                        "dlf:DeleteFunction"
                    ],
                    "Resource": "*",
                    "Effect": "Allow"
                }
            ]
        }

2. OSS データソースの使用

   OSS データソースを作成して保存している場合は、ワークスペースリスト ページでワークスペースを見つけ、Management 列の 操作 をクリックし、Data Source ページでデータソースを表示して使用します。