MaxCompute:ローカル環境での PyODPS の使用

前提条件

開始する前に、次の要件を満たしていることを確認してください。

• Python 3.6 以降がインストールされていること。

• Alibaba Cloud アカウントと、MaxCompute プロジェクトに接続するためのアクセスキーをお持ちであること。RAM ユーザーのアクセスキーを使用することを推奨します。

PyODPS のインストール

1. PyODPS のインストール

   • Linux/macOS：

     pip3 install pyodps

   • Windows：

     pip install pyodps

   numpy や pyarrow などの依存関係をインストールする際に C コードのコンパイルエラーが発生した場合、pip または setuptools のバージョンが古い可能性があります。これらをアップグレードして、インストールを再試行してください。

   # Linux/macOS
   pip3 install -U pip setuptools
   
   # Windows
   pip install -U pip setuptools

2. インストールの確認

   • Linux/macOS：

     python3 -c "from odps import ODPS"

   • Windows：

     python -c "from odps import ODPS"

     エラーが表示されなければ、インストールは成功です。エラーが発生した場合は、「トラブルシューティング」をご参照ください。

環境変数の設定

認証情報をコードにハードコーディングすることを避けるため、環境変数として設定します。

[RAM コンソール] にログインし、アクセスキー ID とシークレットアクセスキーをコピーしてから、お使いのオペレーティングシステムに基づいて設定します。例として、macOS (zsh) の場合：

1. macOS (zsh)：

   vim ~/.zshrc

2. 次の行を追加し、プレースホルダーを実際の値に置き換えてください

   export ALIBABA_CLOUD_ACCESS_KEY_ID=<your-AccessKey-ID>
   export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<your-AccessKey-secret>

3. 設定の適用

   source ~/.zshrc

4. 環境変数が設定されていることを確認

   echo $ALIBABA_CLOUD_ACCESS_KEY_ID
   echo $ALIBABA_CLOUD_ACCESS_KEY_SECRET

   各コマンドは対応する値を出力します。出力が空の場合は、ステップ 2 と 3 を繰り返してください。

Linux、macOS、Windows で環境変数を設定する方法の詳細については、「Alibaba Cloud のアクセスキーを環境変数に設定する」をご参照ください。

ODPS エントリーポイントの初期化

ODPS クラスは、すべての PyODPS 操作のエントリポイントです。他の API を呼び出す前に、認証情報とプロジェクト情報で初期化する必要があります。

コードを実行する前に、ALIBABA_CLOUD_ACCESS_KEY_ID と ALIBABA_CLOUD_ACCESS_KEY_SECRET の環境変数が設定されていることを確認してください。 アクセスキーを明示的に指定することもできますが、ソースコードに認証情報をハードコーディングするとセキュリティリスクが生じるため、この方法は推奨されません。

アクセスキー ID とシークレットアクセスキーを取得するには、「アクセスキー ID とシークレットアクセスキーの取得」をご参照ください。

import os
from odps import ODPS
from odps.accounts import StsAccount
# ALIBABA_CLOUD_ACCESS_KEY_ID 環境変数にアクセスキー ID が設定されていること、
# ALIBABA_CLOUD_ACCESS_KEY_SECRET 環境変数にシークレットアクセスキーが設定されていること、
# そして ALIBABA_CLOUD_STS_TOKEN 環境変数に STS トークンが設定されていることを確認してください。
# セキュリティのため、アクセスキー ID やシークレットアクセスキーのハードコーディングは避けてください。
account = StsAccount(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    os.getenv('ALIBABA_CLOUD_STS_TOKEN'),
)
o = ODPS(
    account=account,
    project='**your-default-project**',
    endpoint='**your-end-point**',
)

これらの設定が完了すると、ローカル環境で PyODPS を使用できるようになります。詳細については、「基本操作の概要」をご参照ください。

データ処理

# 専用のメソッドを使用してテーブルを作成
o.create_table('my_t', 'num bigint, id string', if_not_exists=True)

# SELECT クエリを実行
result = o.execute_sql('SELECT * FROM pyodps_iris LIMIT 3')
with result.open_reader() as reader:
    for record in reader:
        print(record)

o.execute_sql_interactive('SELECT * FROM dual', fallback='all')

# リソースが不足している場合、またはシナリオがサポートされていない場合にのみフォールバック
o.execute_sql_interactive('SELECT * FROM dual', fallback="noresource,unsupported")

from odps.df import DataFrame

# pyodps_iris テーブルを DataFrame に読み込む
iris = DataFrame(o.get_table('pyodps_iris'))

# 行をフィルタリングして結果を出力する。 .execute() メソッドが実際の計算をトリガーする。
for record in iris[iris.sepalwidth < 3].execute():
    print(record)

from odps import options
options.verbose = True

o.execute_sql('SELECT * FROM pyodps_iris', hints={'odps.sql.mapper.split.size': 16})

from odps import options

# これ以降のすべての execute_sql() 呼び出しに、これらのヒントが自動的に含まれます
options.sql.settings = {'odps.sql.mapper.split.size': 16}
o.execute_sql('SELECT * FROM pyodps_iris')

完全な例

次の例では、MaxCompute への接続、テーブルの作成、データの書き込み、データの読み取り、my_new_table テーブルへのクエリ、リソースのクリーンアップという一連のプロセスを示します。

この例では、最後に table.drop() を呼び出し、my_new_table テーブルを完全に削除します。データ損失を避けるため、既存のテーブル名は使用しないでください。このスクリプトはテーブルを削除します。このスクリプトで作成したテーブルを保持したい場合は、最後の table.drop() 呼び出しを削除してください。

1. test-pyodps-local.py という名前のローカルファイルを作成します。

2. 次のコードを追加してください：

   import os
   from odps import ODPS
   
   o = ODPS(
       access_id=os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       secret_access_key=os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
       project='your-default-project',
       endpoint='your-end-point',
   )
   
   table = o.create_table('my_new_table', 'num bigint, id string', if_not_exists=True)
   
   records = [[111, 'aaa'],
              [222, 'bbb'],
              [333, 'ccc'],
              [444, 'non_ascii_text']]
   o.write_table(table, records)
   
   # レコードを読み取る
   for record in o.read_table(table):
       print(record[0], record[1])
   
    # SQL を使用して my_new_table テーブルにクエリを実行
   result = o.execute_sql('SELECT * FROM my_new_table;')
   
   
   print('Read data from my_new_table using open_reader:')
   
   # クエリ結果を出力
   with result.open_reader() as reader:
       for record in reader:
           print(record[0], record[1])
   
   # テーブルを削除してリソースを解放
   table.drop()

3. スクリプトの実行

   python test-pyodps-local.py

   期待される出力：

   111 aaa
   222 bbb
   333 ccc
   444 non_ascii_text
   Read data from my_new_table using open_reader:
   111 aaa
   222 bbb
   333 ccc
   444 non_ascii_text

トラブルシューティング