Dataphin Shell タスクで Python を使用して CSV と PDF ファイルを解析 - Dataphin - Alibaba Cloud - Dataphin

このトピックでは、Python スクリプトを用いてアップロード済みのリソースファイル（例：.xlsx や .csv ファイル）を読み取る方法、および pip を使用して openpyxl などのサードパーティ製ライブラリをインストールし、ファイルを解析する方法について説明します。

前提条件

アクセス先アドレス mirrors.aliyun.com およびすべてのポート（*）が、プロジェクトスペースのサンドボックス許可リストに追加済みである必要があります。詳細については、「クライアントまたは CLI を使用した ApsaraDB RDS for MySQL インスタンスへの接続」をご参照ください。
Python で読み取れる形式（例：TXT、CSV、XLS、XLSX、PDF）のファイルを準備済みである必要があります。

ステップ 1：ファイルのアップロード

Dataphin のホームページ上部ナビゲーションバーで、Lab > データ開発 を選択します。
左側のナビゲーションウィンドウで、データ処理 > リソース を選択します。リソース ページで、アイコンをクリックします。

リソースの作成 ダイアログボックスで、パラメーターを設定します。

パラメーター	説明
タイプ	others を選択します。
名前	アップロードするファイルの名前には、必ずファイル拡張子を含める必要があります。例： `test.xlsx`。
説明	リソースの説明を入力します。
ファイルのアップロード	ローカルファイル（例：`test.xlsx`）を選択します。
コンピュートタイプ	未割り当てエンジンを選択します。重要リソースファイルは Dataphin システム内に格納されるため、未割り当てエンジンのみを選択できます。
ディレクトリの選択	デフォルト値は Resource Management です。

送信をクリックします。
コミットメッセージ ダイアログボックスでメッセージを入力し、OK と送信 をクリックします。

ステップ 2：Python パッケージのインストール

Dataphin のホームページ上部ナビゲーションバーで、管理センター > システム設定 を選択します。
左側のナビゲーションウィンドウで、サードパーティ製ライブラリ管理 > Python パッケージ を選択します。Python パッケージ タブで、Python パッケージのインストール をクリックします。

Python パッケージのインストール ダイアログボックスで、パラメーターを設定します。

パラメーター	説明
パッケージ名	Python パッケージの名前を入力します。例：`openpyxl`。
パッケージバージョン	パッケージのバージョンを入力します。例：`1.0.0`。
Python バージョン	Python バージョンを選択します。Python 3.7 を選択してください。
インストール方法	オンラインインストールを選択します。

OK をクリックしてパッケージをインストールします。

ステップ 3：Python タスクの作成

左側のナビゲーションウィンドウで、データ処理 > 計算タスク を選択します。
計算タスク ページで、アイコンをクリックし、Python を選択します。

新しい Python タスク ダイアログボックスで、パラメーターを設定します。

パラメーター	説明
タスク名	計算タスクの名前を入力します。例：`Read_file_with_Python`。
スケジューリングタイプ	定期実行タスクを選択します。
ディレクトリの選択	デフォルト値はコード管理です。
テンプレートの使用	この機能はデフォルトで無効化されています。
Python バージョン	Python 3.7 以降のバージョンを選択します。
Python パッケージ	ステップ 2 でインストールした openpyxl パッケージを選択します。
説明	タスクの簡単な説明を入力します。

OK をクリックしてタスクを作成します。

ステップ 4：Python コードの記述と実行

コード編集ページで、コードを記述し、test.xlsx パラメーターをご自身がアップロードしたファイルに置き換えます。

# -*- coding: utf-8 -*-

import os
import sys
import openpyxl
print ('========= python execute ok ==========')
print("start===============")

@resource_reference{"test.xlsx"}

# Excel ファイルを開き、シート名を取得します。
wb = openpyxl.load_workbook("test.xlsx")

# wb.get_sheet_names メソッドは非推奨であり、警告が生成されます。
print(wb.worksheets[0])

ページ上部の実行をクリックしてタスクを実行します。
ステータスが SUCCESS であれば、ファイルの読み取りが正常に完了しています。