DataWorks:データアップロード

注意事項

• 操作に国境を越えたデータ転送 (たとえば、中国本土から中国本土以外の場所へのデータ転送、または異なる国やリージョン間でのデータ転送) が含まれる場合は、まず関連するコンプライアンス声明をお読みになり、ご理解いただく必要があります。そうしない場合、アップロードが失敗し、法的責任を問われる可能性があります。

• データをアップロードする前に、ソースファイルで英語のヘッダーを使用することを推奨します。中国語のヘッダーを使用すると、解析に失敗し、アップロードが失敗する可能性があります。

制限事項

• リソースグループの制限：データアップロード機能では、スケジューリング用リソースグループとデータ統合用リソースグループを指定する必要があります。

  • この機能は、サーバーレスリソースグループ (推奨)、専用スケジューリングリソースグループ、およびデータ統合専用リソースグループのみをサポートします。Data Analysis > さらに表示 > System Management で、各エンジンに対応するスケジューリング用リソースグループとデータ統合用リソースグループを設定する必要があります。

  • 選択したリソースグループは、宛先テーブルを含む DataWorks ワークスペースに関連付けられている必要があります。また、選択したリソースグループとアップロードタスクに使用されるデータソースとの間のネットワーク接続を確保する必要もあります。

    説明

    • データ分析でエンジンのリソースグループを設定するには、「システム管理」をご参照ください。

    • データソースとリソースグループ間のネットワーク接続を確立するには、「ネットワーク接続ソリューション」をご参照ください。

    • 専用リソースグループを指定のワークスペースに関連付けるには、「専用スケジューリングリソースグループの使用」および「データ統合専用リソースグループの使用」をご参照ください。

• データアップロードに必要な権限：

  • MaxCompute テーブル (ODPS テーブル)：テーブルの所有者であるだけで十分です。DataWorks ワークスペースで開発者、アナリスト、またはオペレーターのロールは必要ありません。

  • MaxCompute 以外のテーブル (Hologres、EMR Hive、StarRocks など)：テーブルの所有者であることに加えて、DataWorks ワークスペースでロールが割り当てられている必要があります。

    • 開発環境のテーブル：開発者ロールが必要です。

    • 本番環境のテーブル：オペレーターロールが必要です。

• テーブルタイプの制限：内部テーブルまたは デフォルトカタログ (StarRocks に適用) 配下のテーブルにのみデータをアップロードできます。

課金

データアップロードには、以下の料金が発生します：

• データ転送料金。

• 新しいテーブルが作成された場合、計算およびストレージ料金が課金されます。

すべての料金はエンジンによって課金されます。詳細については、「MaxCompute の課金」、「Hologres の課金」、「E-MapReduce の課金」、および「EMR Serverless StarRocks の課金」をご参照ください。

データアップロードページへの移動

1. DataWorks コンソールにログインします。対象リージョンで、左側のナビゲーションウィンドウの データ統合 > データのアップロードとダウンロード をクリックします。入力 データのアップロードとダウンロード をクリックします。

2. 左側のナビゲーションウィンドウで アイコンをクリックして、Upload Data ページに移動します。

3. Upload Data をクリックし、画面の指示に従ってデータをアップロードします。

アップロードするデータの選択

ローカルファイル、スプレッドシート、OSS、HTTP ファイルからデータをアップロードできます。ビジネス要件に基づいてデータソースを選択してください。

ファイルをアップロードする際、必要に応じてダーティデータをスキップするかどうかを指定します。

• はい：ダーティデータが検出された場合、システムは自動的にそれをスキップしてアップロードを続行します。

• いいえ：ダーティデータが検出された場合、システムはそれをスキップせず、アップロードは中断されます。

宛先テーブルの設定

Configure Destination Table セクションで、データアップロード用の Compute Engine を選択し、選択したエンジンに基づいて関連パラメーターを設定します。

宛先テーブルを設定する際は、データソースを選択するときに PROD (本番環境) と DEV (開発環境) を区別するようにしてください。誤った環境を選択すると、意図しない環境にデータがアップロードされます。

アップロードするデータのプレビュー

宛先テーブルを設定した後、データプレビューに基づいてファイルエンコーディングと列マッピングを調整できます。

現在、最初の 20 行のデータのみがプレビューできます。

• File Encoding Format：データに文字化けが含まれている場合、エンコード形式を切り替えることができます。サポートされているエンコード形式は UTF-8、GB18030、Big5、UTF-16LE、UTF-16BE です。

• データのプレビューと宛先テーブルの列の設定：

  • 既存のテーブルへのデータアップロード：ソースファイルの列と宛先テーブルの列との間のマッピングを設定する必要があります。マッピングが設定された後でのみ、データをアップロードできます。マッピング方法には、Mapping by Column Name と Mapping by Order があります。マッピングを設定した後、宛先テーブルの列名をカスタマイズすることもできます。

    説明

    • アップロードするデータが宛先テーブルの列にマッピングされていない場合、データはグレー表示され、アップロードされません。

    • アップロードするデータと宛先テーブルの列との間で重複したマッピングは許可されません。

    • 列名と列タイプは空にできません。そうしないと、データをアップロードできません。

  • 新しいテーブルへのデータアップロード：Intelligent Field Generation を使用して列情報を自動的に入力するか、手動で列情報を変更できます。

    説明

    • 列名と列タイプは空にできません。そうしないと、データをアップロードできません。

    • EMR Hive、Hologres、StarRocks エンジンは、データアップロード中の新しいテーブルの作成をサポートしていません。

• Ignore First Row：ファイルデータの最初の行 (通常は列名) を宛先テーブルにアップロードするかどうかを指定します。

  • 選択済み：最初の行に列名が含まれている場合、それは宛先テーブルにアップロードされません。

  • クリア済み：最初の行にデータが含まれている場合、それは宛先テーブルにアップロードされます。

データのアップロード

データをプレビューした後、左下隅の Upload Data ボタンをクリックしてデータをアップロードします。

次のステップ

データがアップロードされた後、左側のナビゲーションウィンドウで アイコンをクリックして Upload Data ページに移動します。作成されたデータアップロードタスクを見つけ、必要に応じて次の操作を実行します：

• アップロードの続行：操作 列の Resume をクリックして、データを再度アップロードします。

• データのクエリ：操作 列の Query Data をクリックして、データをクエリおよび分析します。

• アップロード詳細の表示：対象の Table Name をクリックしてデータマップに移動し、宛先テーブルの詳細情報を表示します。詳細については、「メタデータ検索」をご参照ください。

付録：国境を越えたデータアップロードに関するコンプライアンス声明

操作に国境を越えたデータ転送 (たとえば、中国本土から中国本土以外の場所へのデータ転送、または異なる国やリージョン間でのデータ転送) が含まれる場合は、まず関連するコンプライアンス声明をお読みになり、ご理解いただく必要があります。そうしない場合、アップロードが失敗し、法的責任を問われる可能性があります。

国境を越えたデータ操作は、ご利用のクラウドビジネスデータを、選択したリージョンまたはプロダクトがデプロイされているリージョンに転送します。操作が以下の要件に準拠していることを確認する必要があります：

• 関連するクラウドビジネスデータを処理する権限を持っていること。

• 十分なデータセキュリティ保護技術とポリシーを採用していること。

• データ転送が適用される法律および規制の要件に準拠していること。たとえば、転送されるデータに、適用法の下で転送が制限、禁止されている、または開示が禁止されているコンテンツが含まれていないこと。

Alibaba Cloud は、データアップロード操作が国境を越えたデータ転送につながる可能性がある場合、そのような操作を実行する前に専門の法務またはコンプライアンス担当者に相談し、国境を越えたデータ転送が適用される法律、規制、および規制ポリシーに準拠していること (たとえば、データ主体からの有効な権限付与の取得、関連する契約条項の署名と提出、および関連するセキュリティ評価やその他の法定義務の完了) を確認することを推奨します。

このコンプライアンス声明に従わずに国境を越えたデータ操作を実行した場合、対応する法的結果を負うことになります。また、Alibaba Cloud およびその関連会社に生じたいかなる損失についても責任を負うものとします。

参考

• Data Studio は、ローカルの CSV またはテキストファイルを MaxCompute テーブルにアップロードすることもサポートしています。詳細については、「データのアップロード」をご参照ください。

• MaxCompute テーブルに関するその他の操作については、「MaxCompute テーブルの管理」をご参照ください。

• Hologres テーブルに関するその他の操作については、「Hologres テーブルの作成」をご参照ください。

• EMR テーブルに関するその他の操作については、「EMR テーブルの作成」をご参照ください。

よくある質問

1. リソースグループの設定の問題。

   エラーメッセージ：現在のファイルソースまたは宛先エンジンには、データアップロード用のリソースグループが必要です。ワークスペース管理者に連絡してリソースグループを設定してください。

   ソリューション：データ分析でエンジンのリソースグループを設定するには、「システム管理」をご参照ください。

2. リソースグループの関連付けの問題。

   エラーメッセージ：ワークスペースのグローバルデータアップロード用に設定されたリソースグループは、ターゲットテーブルが属するワークスペースに関連付けられていません。ワークスペース管理者に連絡して関連付けてください。

   ソリューション：システム管理で設定されているリソースグループをワークスペースリソースグループとして関連付けることができます。