MaxCompute:DataWorks の使用 (オフラインおよびリアルタイム)

操作手順

1. MaxCompute プロジェクトとテーブルを作成します。このテーブルには、MaxCompute に同期するデータが格納されます。

2. DataWorks ワークスペースを作成し、MaxCompute 計算リソースをアタッチします。

3. データをインポートします。

   ローカルファイルの MaxCompute へのインポート

   1. DataWorks コンソールにログインし、左上のコーナーでリージョンを選択します。

   2. 左側のナビゲーションウィンドウで、データ統合 > データのアップロードとダウンロード を選択します。

   3. 左側のナビゲーションウィンドウで、アップロードアイコン をクリックし、次に [データのアップロード] をクリックします。

   4. 画面の指示に従って、対象のデータをアップロードします。

      [ローカルファイル] または [OSS] を使用して、CSV、XLS、XLSX、および JSON ファイルを MaxCompute にインポートできます:

      • ローカルファイル: 最大ファイルサイズは、CSV ファイルの場合は 5 GB、その他のファイルタイプの場合は 100 MB です。

      • OSS: 現在の MaxCompute プロジェクトと同じリージョンにあるバケットからのみデータをアップロードできます。

   詳細については、「データのアップロード」をご参照ください。

   以前のバージョンの DataWorks ワークスペースでは、ローカルの CSV ファイルまたはカスタムテキストファイルを MaxCompute テーブルにアップロードできます。詳細については、「データのアップロード」をご参照ください。

   他のデータソースから MaxCompute へのデータのインポート

   1. DataWorks コンソールにログインし、左上のコーナーでリージョンを選択します。

   2. 左側のナビゲーションウィンドウで、データ開発と О&М > データ開発 を選択します。

   3. ワークスペースを選択する セクションで、[DataStudio へ移動] をクリックします。

   4. [DataStudio] の左ペインで、 アイコンをクリックし、[ノードの作成] > [データ統合] > [バッチ同期] または [リアルタイム同期]を選択します。

      • バッチ同期ノード：データ宛先を MaxCompute に、データソースを別のデータソースに設定します。

      • リアルタイム同期ノード：出力は MaxCompute に、入力は別のデータソースに設定します。

      詳細については、「コードレス UI でのノードの設定」、「コードエディタでのノードの設定」、および「DataStudio でのリアルタイム同期タスクの設定」をご参照ください。

   5. DataWorks コンソールに戻ります。

      左側のナビゲーションウィンドウで、データ統合 > データ統合 を選択します。

   6. 左側のナビゲーションウィンドウで [同期タスク] を選択し、[同期タスクの作成] をクリックして、[同期タスクの作成] ダイアログボックスでデータソース情報を設定します。

      詳細については、「データベース全体のリアルタイム同期タスクの設定」をご参照ください。

データ統合の同期機能

DataWorks データ統合は、他のデータソースから MaxCompute へのデータ同期をサポートしています。たとえば、ApsaraDB RDS などのデータベースから MaxCompute にデータを同期できます。同期の原則とサポートされる機能は、シナリオによって異なります。

• バッチ同期は、データソースからのデータの読み取りと書き込みを行うための Reader および Writer プラグインを提供します。

  • バッチインポートシナリオでは、各バッチ同期ノードは 1 つ以上のテーブルから単一の MaxCompute テーブルにデータをインポートできます。

• リアルタイム同期は、さまざまな入力および出力データソースを組み合わせて同期リンクを作成することをサポートしています。このリンクは、単一のテーブルまたはデータベース全体に対してリアルタイムの増分同期を実行できます。

• データ統合は、さまざまなデータソースが関わる多様なシナリオに対応する同期ソリューションも提供します。これらのソリューションは、データベース全体のバッチ同期や、完全および増分リアルタイム同期などのシナリオをサポートします。

次の表に、MaxCompute でサポートされているデータ同期機能を示します。

DataWorks データ統合が MaxCompute に提供するデータ同期機能の詳細については、「MaxCompute データソース」をご参照ください。

課金

DataWorks データ統合を使用してデータ同期を行うには、データ統合リソースグループとスケジュールリソースグループを使用する必要があります。要件に応じて、共有または専用のリソースグループを使用できます。データがインターネット経由で転送される場合、データ転送コストが請求されることがあります。

• データ統合リソースグループの課金の詳細については、「データ統合の専用リソースグループの課金：サブスクリプション」および「データ統合の共有リソースグループ (デバッグ) の課金：従量課金」をご参照ください。

• データ転送コストの詳細については、「インターネットトラフィックの課金」をご参照ください。

• スケジュールリソースグループの課金の詳細については、「スケジュールの専用リソースグループの課金：サブスクリプション」および「スケジュールの共有リソースグループの課金」をご参照ください。

ベストプラクティス