AnalyticDB:OSS へのアクセス

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• OSS バケットと同じリージョンに、AnalyticDB for MySQL Data Lakehouse Edition クラスターが作成済みであること

• クラスター用に作成されたジョブ リソースグループです。詳細については、「リソースグループの作成」をご参照ください。

• クラスター向けにデータベースアカウントが設定済みであること：

  • Alibaba Cloud アカウントのユーザー：特権アカウントです。「特権アカウントを作成する」を参照してください。

  • Resource Access Management (RAM) ユーザー: 特権アカウントと標準アカウントの両方を持ち、標準アカウントは RAM ユーザーに関連付けられています。「データベースアカウントを作成する」および「RAM ユーザーとのデータベースアカウントの関連付けまたは関連付け解除」をご参照ください。

• 権限付与が完了済みであること。詳細については、「権限付与の実行」をご参照ください。

ご利用のシナリオを選択

ステップ 1：データの準備

ジョブを送信する前に、入力ファイルおよび PySpark スクリプトの両方を OSS バケットにアップロードしてください。

1. 以下の内容で readme.txt という名前のテキストファイルを作成し、OSS バケットにアップロードします。

   AnalyticDB for MySQL
   Database service

   アップロード手順については、「オブジェクトのアップロード」をご参照ください。

2. example.py という名前の Python ファイルを作成し、readme.txt の 1 行目を読み込む処理を記述した後、同じ OSS バケットにアップロードします。

   import sys
   from pyspark.sql import SparkSession
   
   # Spark アプリケーションの初期化
   spark = SparkSession.builder.appName('OSS Example').getOrCreate()
   
   # テキストファイルの読み取り — パスは引数経由で渡されます
   textFile = spark.sparkContext.textFile(sys.argv[1])
   
   # 総行数と先頭行を出力
   print("File total lines: " + str(textFile.count()))
   print("First line is: " + textFile.first())

ステップ 2：Spark ジョブの送信

1. AnalyticDB for MySQL コンソール にログインします。左上隅でリージョンを選択し、左側のナビゲーションウィンドウから クラスター をクリックします。Data Lakehouse Edition タブで対象のクラスターを見つけ、その ID をクリックします。

2. 左側のナビゲーションウィンドウから、ジョブ開発 > Spark JAR 開発 を選択します。

3. エディター上部で、ジョブリソースグループおよび Spark アプリケーションの種別を選択します。本例では、バッチ を選択します。

4. ご利用のシナリオに対応するジョブ構成 JSON を貼り付け、今すぐ実行 をクリックします。

   同一アカウント内の OSS データへのアクセス

   {
     "args": ["oss://testBucketName/data/readme.txt"],
     "name": "spark-oss-test",
     "file": "oss://testBucketName/data/example.py",
     "conf": {
       "spark.driver.resourceSpec": "small",
       "spark.executor.resourceSpec": "small",
       "spark.executor.instances": 1
     }
   }

   他アカウントの OSS データへのアクセス

   spark.adb.roleArn を conf ブロックに追加します。このパラメーターにより、Spark は他アカウントの OSS バケットにアクセスする際にどの RAM ロールを偽装するかを指定します。

   {
     "args": ["oss://testBucketName/data/readme.txt"],
     "name": "CrossAccount",
     "file": "oss://testBucketName/data/example.py",
     "conf": {
       "spark.adb.roleArn": "acs:ram::testAccountID:role/<testUserName>",
       "spark.driver.resourceSpec": "small",
       "spark.executor.resourceSpec": "small",
       "spark.executor.instances": 1
     }
   }

パラメーター

結果の確認

ジョブが実行された後、[ログ] をクリックして、[Spark JAR 開発] ページの [アプリケーション] タブの [操作] 列で出力を表示します。

ログビューアーの詳細については、「Spark エディター」をご参照ください。

関連情報

• Spark アプリケーション開発の概要

• Spark アプリケーションの構成パラメーター