すべてのプロダクト
Search
ドキュメントセンター

MaxCompute:使用上の注意

最終更新日:Nov 20, 2024

このトピックでは、ロールに基づいた推奨事項を示します。

MaxCompute初心者

MaxComputeの初心者の方は、まず次の表に記載されているモジュールに慣れることをお勧めします。

モジュール

説明

製品紹介

MaxComputeの概要を説明し、MaxComputeの機能、シナリオ、制限、および基本概念について説明します。 このモジュールは、MaxComputeの一般的な知識を得るのに役立ちます。

準備

アカウントの作成、環境の準備、テーブルの作成、データのインポート、SQLジョブの実行、および返されたデータのエクスポート方法について説明します。

はじめに

一般的なSQL文

MaxComputeでよく使用されるコマンドについて説明します。 このモジュールは、MaxComputeの操作に慣れるのに役立ちます。

ツール

MaxComputeクライアントやMaxCompute Studioなど、MaxComputeの一般的なツールについて説明します。 データを分析する前に、ツールに慣れておく必要があります。

エンドポイント

さまざまなリージョンでサポートされているネットワーク接続モードと、各リージョンに対応するエンドポイントについて説明します。 このモジュールでは、MaxComputeがElastic Compute Service (ECS) 、Tablestore、Object Storage Service (OSS) などの他のAlibaba Cloudサービスに接続されているときに発生する可能性のある問題についても説明します。 これらの問題には、ネットワーク接続の問題やデータダウンロード料金に関する問題が含まれます。

データアナリスト

データアナリストの場合は、SQLのトピックに慣れることをお勧めします。 MaxComputeに保存されている大量のデータをクエリおよび分析できます。 次の表に、MaxCompute SQLが提供する機能を示します。

機能

説明

DDLステートメント

テーブル、パーティション、列、ライフサイクル、およびビューを管理できます。

DMLステートメント

テーブルやパーティションにデータを挿入したり、データを更新したりできます。

DQLステートメント

SELECTやサブクエリなど、さまざまなクエリ操作を実行できます。

SQL拡張操作

コマンドを使用して、MaxComputeテーブルからのデータのインポートとエクスポート、テーブルデータの複製などのSQL拡張操作を実行できます。

組み込み関数

MaxCompute組み込み関数 (数学関数、ウィンドウ関数、日付関数、集計関数、文字列関数など) を使用してデータを処理できます。

UDF

コンピューティング要件を満たすユーザー定義関数 (UDF) を作成できます。

開発経験のあるユーザー

開発経験があり、分散アーキテクチャを理解し、SQLが提供できないデータ分析機能を取得したい場合は、MaxComputeの高度な機能モジュールに慣れることをお勧めします。

モジュール

説明

MapReduce

MaxComputeは、MapReduceプログラミングモデルをJavaで提供します。 MapReduceが提供するJava APIを使用して、MapReduceプログラムを記述し、MaxComputeでデータを処理できます。

グラフ

グラフは、反復グラフ計算の処理フレームワークです。 グラフは頂点とエッジで構成され、どちらも値を含みます。 MaxCompute Graphは、グラフを繰り返し編集および展開して分析結果を取得します。

Tunnel

MaxCompute Tunnelを使用すると、一度にMaxComputeとの間で大量のデータをアップロードまたはダウンロードできます。

SDK for Java

MaxComputeは、開発者向けのJava SDKを提供します。

SDK for Python

MaxComputeは、開発者向けにPython用のSDKを提供します。

プロジェクトの所有者または管理者

プロジェクトの所有者または管理者である場合は、次の表に記載されているモジュールに慣れることをお勧めします。 プロジェクト所有者はプロジェクトを作成して使用でき、プロジェクト管理者はプロジェクト、セキュリティ操作、およびコストを管理できます。

モジュール

機能

説明

プロジェクト管理

プロジェクト作成の準備

プロジェクトは、MaxComputeの基本的な組織単位です。 従来のデータベースシステムのデータベースまたはスキーマと同様に、プロジェクトを使用してユーザーを分離し、アクセス要求を制御します。 ユーザーは複数のプロジェクトに対する権限を持つことができます。 ユーザーに関連するアクセス許可が付与されると、ユーザーはプロジェクト間でテーブル、リソース、関数、インスタンスなどのオブジェクトにアクセスできます。 MaxComputeは、プロジェクト内のさまざまなオブジェクトを管理するために使用されます。 プロジェクトを作成する前に、次の準備をする必要があります。

  • リソースの予算を準備する

    ストレージリソース、コンピューティングリソース、およびインターネットベースのデータダウンロード用のリソースに対して課金されます。

    • ストレージリソース: 従量課金方法と段階的な単価に基づいて、これらのリソースに対して課金されます。 保存されているデータの量に基づいてコストを見積もることができます。 MaxComputeに保存されているデータは常に変化します。 その結果、コストも変化する。

    • コンピューティングリソース: 従量課金およびサブスクリプションの課金方法に基づいて、これらのリソースに対して課金されます。 プロジェクトの開始時に必要なコンピューティングリソースの数を見積もることは困難です。 従量課金の課金方法を使用し、使用するコンピューティングリソースの数に基づいてサブスクリプションの課金方法に切り替えるかどうかを決定することを推奨します。

    • インターネットベースのデータダウンロードのリソース: 従量課金の課金方法に基づいて、これらのリソースに対して課金されます。

    詳細については、「ストレージ料金 (従量課金) 」、「コンピューティング料金」、および「ダウンロード料金 (従量課金) 」をご参照ください。

  • アカウントを作成してサービスを有効化する

    MaxComputeプロジェクトを作成する前に、Alibaba Cloudアカウントを作成し、MaxComputeを有効化する必要があります。 請求書はAlibaba Cloudアカウントに発行されます。 アカウントの作成後、必要なリソースの予算に基づいて、従量課金またはサブスクリプションの課金方法を選択する必要があります。

プロジェクトの作成

詳細については、「MaxComputeプロジェクトの作成」をご参照ください。

プロジェクトメンバーの管理

メンバーは、メンバーの責任とセキュリティ要件に基づいて管理されます。 DataWorksコンソールでMaxComputeを使用する場合、MaxComputeとDataWorksの間の権限関係を理解する必要があります。

.

RAMユーザーの管理

Alibaba CloudアカウントまたはRAMユーザーの資格情報を使用して、MaxComputeプロジェクトを管理できます。 Alibaba CloudアカウントのRAMユーザーをMaxComputeプロジェクトに追加できます。 RAMユーザーの詳細については、「RAMユーザーの準備」をご参照ください。

DataWorksコンソールでMaxComputeプロジェクトとDataWorksワークスペースを管理する場合、Alibaba CloudアカウントのRAMユーザーのみをメンバーとして追加できます。 したがって、Alibaba Cloudアカウントを使用してRAMユーザーを作成し、Resource Access Management (RAM) コンソールでこれらのRAMユーザーを管理する必要があります。

説明
  • 複数のプロジェクトメンバーが1つのRAMユーザーを共有することを許可しないことを推奨します。

  • プロジェクトメンバーが新しい役職に異動した場合、または辞任した場合は、できるだけ早くプロジェクトメンバーのRAMユーザーを削除する必要があります。 DataWorksコンソールでRAMユーザーがプロジェクトメンバーとして追加されている場合は、DataWorksコンソールでプロジェクトメンバーを削除し、RAMコンソールでRAMユーザーを削除します。

スケジューリングリソースの管理

DataWorksのスケジューリングリソースを管理する必要があります。 これらのリソースは、スケジューリングシステムによって配信されるタスクを実行または分散するために使用されます。 DataWorksのスケジューリングリソースは、次のタイプに分類されます。

  • デフォルトのスケジューリングリソース。 デフォルトのスケジューリングリソースは、DataWorksのパブリックリソースプール内のリソースです。 DataWorksノードの並列性が高く、スケジューリングリソースが不十分な場合、ノードはリソースを待機します。 リソースがノードに割り当てられた後、ノードは配信されたタスクを実行します。

  • カスタムスケジューリングリソース。 ECSインスタンスをスケジューリングサーバーとして設定し、タスクを分散できます。 Alibaba Cloudアカウントを使用して、カスタムスケジューリングリソースを作成できます。 スケジューリングリソースには、データ同期タスクなどのタスクの実行に使用される物理マシンまたはECSインスタンスが含まれます。

プロジェクトの設定

プロジェクトの所有者だけが、プロジェクトを構成する権限を持っています。 たとえば、プロジェクト所有者は、フルテーブルスキャンを有効にするかどうか、およびMaxCompute V2.0データ型エディションを有効にするかどうかを指定できます。 詳細については、「プロジェクト操作」をご参照ください。

コスト管理

なし

リソースの予算は、リソースを使用する前にコストを見積もるのに役立ちます。 MaxComputeの課金方法が異なるため、正確なコストを見積もることは困難です。 ビジネス開発プロセス全体でコストを管理する必要があります。

  • 料金の詳細については、「概要」をご参照ください。

  • 従量課金とサブスクリプションの課金方法を切り替えることができます。 詳細については、「課金方法の切り替え」をご参照ください。