DSW Gallery

DSW Gallery は、AI 研究開発シナリオにおける豊富なケースとソリューションを提供しています。PAI/DSW の機能紹介、Alibaba Cloud プロダクト（SDK や CLI ツールを含む）の使い方、データサイエンス、ディープラーニング、業界ソリューションなどをカバーし、DSW でのクイックスタートをサポートすることで、クラウドネイティブ環境での AI 研究開発プロセスをすばやく習得し、PAI や Alibaba Cloud などのプロダクトを活用して研究開発の効率と品質を向上できます。
前提条件
・Alibaba Cloud アカウント
・PAI の有効化
・実行中の DSW インスタンスが 1 つ以上あること
・OSS、MaxCompute、NAS、DataWorks（必要に応じて有効化）
⌨️ 利用方法
DSW Gallery が提供するケースは、少なくとも 3 つの部分で構成されています
1. サマリー：タイトル、説明、タグ
2. ドキュメント：ケースの利用手順（詳細なステップの説明と関連するコード、図表など）
3. リソース：ipynb および関連コード。DSW でロードして実行できます
サマリー
必要なケースをすばやく見つけるには
・DSW Gallery では、ケースのサマリーに含まれるキーワードをもとにあいまい検索できます。タイトルや説明のキーワードを使用するか、関心のあるタグを選択します。図 1 の ① ② ③ を参照してください。
・① ケースのタイトルと説明によるあいまい検索
・② タイプ別のケース表示
・③ タグによる検索。タグをクリックすると、そのタグを含むすべてのケースを取得します
・DSW Gallery は複数のキーワードを組み合わせた検索に対応しており、重み付けは高い順に並べ替えられます。たとえば、2 つの条件を組み合わせて検索する場合、まず「Alibaba Cloud プロダクト」のケースを検索し、その結果の中からさらに「名前または説明に odp を含む」条件で絞り込むことができます。
図 1 - Gallery の検索例
ドキュメント
ドキュメントでは、ケースの使用方法や詳細を示しており、おおむね以下の 3 つの部分で構成されています。
1. 前提条件：ケースの利用に必要な条件（MaxCompute、Apsara File Storage for HDFS、DataWorks、PAI-EAS、PAI-DLC、PAIFlow、NNI、AutoML、Blade など）
2. 動作環境：DSW インスタンス仕様（CPU / MEM / GPU）、Docker イメージバージョン
3. 詳細なステップ：実際の操作における各ステップのコード、コマンド、および実行後の出力画像やグラフなど
リソース
ケースのドキュメントを閲覧して興味を持った場合は、ワンクリックで DSW インスタンスにケースをロードできます。「DSW で開く」をクリックして「AI ワークスペース」を選択すると、現在の「AI ワークスペース」配下の実行中の DSW インスタンスがデフォルトで選択されます。図 2 を例に説明します。
・① ドキュメント右上にある「DSW で開く」ボタン
・② 必要なワークスペースがない場合は、リンクをクリックして作成してください
・③ このワークスペースに実行中の DSW インスタンスがない場合は、リンクをクリックして作成してください
・④ DSW インスタンスを選択したら、「OK」をクリックして DSW に移動します。
図 2 - DSW でサンプルを開く
警告
1. DSW インスタンス仕様は、ケースのドキュメントに記載された動作環境で要求されるインスタンス仕様以上である必要があり、イメージバージョンも一致させる必要があります。図 3 を参照してください
2. ワークスペースがない場合で、かつアカウント管理者である場合は、アカウント管理者に連絡してワークスペースに追加し、アルゴリズム開発のロールを付与してもらう必要があります。具体的な操作方法はドキュメントを参照してください
3. 以前に DSW インスタンスで開いたことのあるケースで、再度「DSW で開く」をクリックすると、DSW はケースの保存パスを表示します。2 つの選択肢があります。図 4 を参照してください
・表示されたパスに従って、ケースの保存場所に移動する
・ケースを別のパスに再ダウンロードする
図 3 - DSW のインスタンス仕様とイメージバージョンの確認
図 4 - ケースが既に存在する場合の再ダウンロードプロンプト
📚 ケース
プロダクト機能
DSW はクラウドベースの開発 IDE です。以下のドキュメントは、DSW をよりすばやく使い始めるのに役立ちます。
・DSW の有効化と権限付与：PAI-DSW は、AI 開発者向けのクラウドベースの機械学習インタラクティブ開発 IDE です。どこからでもノートブックを開いて、データの読み取り、アルゴリズムの開発、モデルのトレーニングと展開をすばやく行えます。本記事は、DSW のすばやい有効化とサブアカウントへの権限付与に役立ちます。
・DSW インスタンス管理：DSW コンソールでの DSW インスタンスの管理方法を簡潔に説明します。
・データマウンティング（OSS、NAS）：NAS や OSS などのデータマウンティングを含む、DSW データの管理方法を簡潔に説明します。
・イメージ管理：PAI-DSW はコンテナテクノロジーを活用して、すぐに使える機械学習開発環境を提供します。各 DSW インスタンスはイメージを使用してコンテナを起動します。JupyterLab、VSCode、Terminal はコンテナ内で実行されます。ユーザーはコンテナに入った後、JupyterLab でカーネルを起動するか、ターミナルでシェルコマンドを使用して機械学習タスクを開始できます。
・VPC ネットワーク設定：PAI-DSW インスタンスは PAI のマネージド VPC 内で実行され、デフォルトではユーザーの VPC ネットワークとは分離されています。本記事では、PAI-DSW インスタンスから VPC サービスへのアクセス方法（VPC 内の RDS からのデータ読み取り、VPC 内に展開された Git リポジトリのクローンなど）を説明します。
・エンタープライズリソース管理：インスタンス共有と権限管理：PAI-DSW は AI ワークスペースを基盤とし、豊富なインスタンスリソース管理と権限管理の機能を提供して、企業やチームでの柔軟なマルチユーザー協調開発を実現します。
・課金モード：PAI-DSW の決済方法は現在、従量課金（個人版）とリソースグループ課金（パブリックベータ）の 2 つの形式があります。本記事では、PAI-DSW の課金モデルを説明します。
・DSW IDE の紹介：PAI-DSW はオープンソースの JupyterLab を統合し、プラグイン形式で高度なカスタマイズ開発を行っています。運用保守の設定なしでノートブックの作成、Python コードのデバッグと実行ができます。本記事では、JupyterLab、WebIDE、Terminal の使い方を紹介します。
Alibaba Cloud プロダクトドキュメント
Alibaba Cloud プロダクト（Alibaba Cloud Object Storage OSS、Alibaba Cloud データウェアハウスサービス MaxCompute、Alibaba Cloud PAI クラウドネイティブ AI 基盤プラットフォーム PAI-DLC、オンライン予測 PAI-EAS など）は SDK および CLI ツールを提供しており、DSW と組み合わせて使用することでモデルの開発と展開を加速できます。
・MaxCompute（ODPS）は、データ分析シナリオに適したエンタープライズレベルの SaaS（Software as a Service）型クラウドデータウェアハウスです。オフラインおよびストリーミングデータへのアクセスを提供し、大規模データコンピューティングとクエリ高速化機能をサポートして、さまざまなコンピューティングシナリオに対応するデータウェアハウスソリューションと分析モデリングサービスを提供します。PAI-DSW は、MaxCompute（ODPS）テーブルデータの読み書きに次の 3 つの方法をサポートしています。
・PyODPS 使用ガイド：PyODPS は MaxCompute の Python SDK で、シンプルで便利な Python プログラミングインターフェイスを提供します。PyODPS は Pandas のように高速で柔軟、かつ表現力豊かなデータ構造をサポートしています。PyODPS が提供する DataFrame API を使用して、Pandas のデータ結果処理機能を利用できます。本記事は、PyODPS をすばやく使い始め、実際のプロジェクトで活用するのに役立ちます。
・PAIIO 使用ガイド：PAIIO は TensorFlow タスク用に特別に開発されたモジュールで、MaxCompute テーブルデータを読み取ります。TableRecordDataset データセットを提供し、TableRecordDataset を使用して TensorFlow タスクを簡単に構築できます。
・COMMON_IO 使用ガイド：COMMON_IO はシンプルで使いやすい TableReader と TableWriter の 2 つのインターフェイスを提供します。COMMON_IO を使用して、MaxCompute テーブルデータの読み書きを便利に行えます。MaxCompute テーブルデータを読み取って PyTorch タスクを構築する場合も、COMMON_IO が推奨されます。
・OSS 使用ガイド：Alibaba Cloud Object Storage Service（OSS）は、大容量で安全、低コストかつ高い信頼性を備えたクラウドストレージサービスです。Alibaba Cloud が提供する API、SDK インターフェイス、または OSS 移行ツールを使用して、大量のデータを Alibaba Cloud OSS に簡単に移行したり、OSS から取り出したりできます。
ディープラーニング
PAI はさまざまなシナリオのディープラーニングモデル向けに Python SDK を提供しています。EasyVision（視覚知能強化アルゴリズムパッケージ）、EasyTransfer（自然言語処理 NLP）、EasyASR（音声知能強化アルゴリズムパッケージ）、EasyCompression（モデル圧縮）などがあります。
・EasyCV 画像分類：PAI-DSW で EasyCV を使用して Resnet50 による画像分類モデルのトレーニングと推論をすばやく行う方法を紹介します。
・EasyVision を使用したオブジェクト検出：EasyVision（視覚知能強化アルゴリズムパッケージ）は、さまざまなモデルのトレーニングと予測機能を提供し、コンピュータビジョンアプリケーション開発者がすばやく簡単にビジョンモデルを構築して本番環境に適用できるようにすることを目的としています。本記事では、オブジェクト検出を例に、PAI-DSW で EasyVision を使用する方法を紹介します。
・EasyNLP テキスト分類：PAI-DSW で EasyNLP を使用して BERT によるテキスト分類モデルのトレーニングと推論をすばやく行う方法を紹介します。
・Hugging Face の紹介：Hugging Face（略称 HF）は、もともと NLP 技術に特化した大規模なオープンソースコミュニティです。GitHub 上のオープンソース自然言語処理事前学習モデルライブラリ Transformers は 100 万回以上ダウンロードされ、64,000 以上の GitHub スターを獲得しています。本記事では、Python SDK を使用した Hugging Face へのアクセス方法を紹介します。
データサイエンス
・Kaggle コンペティションの住宅価格予測：数値型と非数値型を含むデータセットを使用して特徴量エンジニアリングを行い、より良い回帰効果を実現する方法を紹介します。Pandas と scikit-learn の応用を含む、データ分析の非常に良い例です。
・scikit-learn クックブック：機械学習における scikit-learn の応用を紹介します
その他
・TensorFlow 2 と Keras：TensorFlow 2 は、Google が TensorFlow 1 をベースに開発したディープラーニングフレームワークです。本記事では、TF2.0 の一般的な API を紹介します。