MaxCompute:DataWorks Data Integration を使用してログデータを MaxCompute に移行する

次のシナリオで、LogHub データソースから宛先にデータを同期できます。

• リージョンをまたいで、LogHub データソースから MaxCompute データソースなどのデータソースにデータを同期します。

• Alibaba Cloud アカウントをまたいで、LogHub データソースから MaxCompute データソースなどのデータソースにデータを同期します。

• 同じ Alibaba Cloud アカウント内で、LogHub データソースから MaxCompute データソースなどのデータソースにデータを同期します。

• Alibaba Cloud パブリッククラウドと Alibaba Finance Cloud の間で、LogHub データソースから MaxCompute データソースなどのデータソースにデータを同期します。

Alibaba Cloud アカウント A と B がある場合、アカウント B を使用して Data Integration で同期タスクを作成できます。次に、同期タスクを使用して、アカウント A 内の LogHub データをアカウント B 内の MaxCompute データソースに同期できます。以下の説明で詳細を説明します。

1. アカウント A の AccessKey ID と AccessKey シークレットを使用して、LogHub データソースを追加します。

   アカウント B を使用して、アカウント A を使用して作成されたすべての Simple Log Service プロジェクトのデータを同期できます。

2. アカウント A 内の RAM ユーザー A1 の AccessKey ID と AccessKey シークレットを使用して、LogHub データソースを追加します。

   • アカウント A を使用して、AliyunLogFullAccess および AliyunLogReadOnlyAccess システムポリシーを RAM ユーザー A1 にアタッチし、Simple Log Service の一般的な権限を RAM ユーザー A1 に付与します。詳細については、「RAM ユーザーを作成し、RAM ユーザーに Simple Log Service へのアクセスを承認する」をご参照ください。

     説明

     AliyunLogFullAccess および AliyunLogReadOnlyAccess システムポリシーが RAM ユーザー A1 にアタッチされた後、RAM ユーザー A1 を使用して、アカウント A を使用して作成されたすべての Simple Log Service プロジェクトにアクセスできます。

   • アカウント A を使用して、Simple Log Service のカスタム権限を RAM ユーザー A1 に付与します。

     アカウント A を使用して [RAM コンソール] にログインします。左側のナビゲーションウィンドウで、[権限] > [ポリシー] を選択します。[ポリシー] ページで、[ポリシーの作成] をクリックします。

     RAM および RAM ユーザーに Simple Log Service のカスタム権限を付与する方法の詳細については、「RAM の概要」および「概要」をご参照ください。

     次のポリシーが RAM ユーザー A1 にアタッチされている場合、アカウント B を使用して、RAM ユーザー A1 が Simple Log Service で権限を持つ project_name1 と project_name2 のデータのみを同期できます。

     {
         "Version": "1",
         "Statement": [
             {
                 "Action": [
                     "log:Get*",
                     "log:List*",
                     "log:CreateConsumerGroup",
                     "log:UpdateConsumerGroup",
                     "log:DeleteConsumerGroup",
                     "log:ListConsumerGroup",
                     "log:ConsumerGroupUpdateCheckPoint",
                     "log:ConsumerGroupHeartBeat",
                     "log:GetConsumerGroupCheckPoint"
                 ],
                 "Resource": [
                     "acs:log:*:*:project/project_name1",
                     "acs:log:*:*:project/project_name1/*",
                     "acs:log:*:*:project/project_name2",
                     "acs:log:*:*:project/project_name2/*"
                 ],
                 "Effect": "Allow"
             }
         ]
     }