EMR Serverless Spark の AI センターを使用すると、SQL を使用して大規模言語モデル (LLM) の機能を大規模データ処理に統合できます。「AI 関数」と「モデルサービス」という 2 つのコア機能により、カスタムコードを記述することなく、AI 推論をデータワークフローに直接組み込むことができます。
AI センターは 2024 年 4 月 27 日に一般提供が開始され、現在は有料サービスとなっています。詳細については、EMR Serverless Spark AI センターの一般提供をご参照ください。
AI センターの有効化
前提条件
Alibaba Cloud アカウント、または AliyunRAMFullAccess 権限を持つ RAM ユーザー。
操作手順
-
E-MapReduce コンソールにログインします。
-
ナビゲーションペインで、[EMR Serverless] > [Spark] を選択します。
-
[Spark] ページで、対象のワークスペース名をクリックします。
-
ナビゲーションペインで、[AI] > [Serving] を選択します。
-
右上隅の [Enable AI Center] をクリックします。
課金
AI センターの組み込みモデル呼び出しは、従量課金方式で課金されます。料金は、ワークスペース内の組み込みモデルの実際のトークン消費量に基づいて計算されます。詳細な課金ルールについては、モデル呼び出し (従量課金)をご参照ください。
主な利点
-
SQL ベースの AI、コード不要
ai_query、感情分析、ベクトル化などの組み込み関数により、開発者は SQL から直接 LLM を呼び出すことができます。複雑な AI 推論を、Python、Java、または SDK コードを必要とせずに既存の ETL フローに組み込むことができます。 -
統一されたモデル登録
デフォルトでは、AI 関数は Alibaba Cloud Qwen3.5-Plus を呼び出し、すぐに使える推論を実行します。また、Model Studio、PAI-EAS、または独自のプライベートエンドポイントからモデルをワンクリックで登録することもできます。統一されたアクセス層により、プロトコルと認証の違いが抽象化されます。一度登録すれば、あらゆる SQL ジョブからクエリできます。
-
インプレース処理、エンドツーエンドのワークフロー
ベクトル生成とバッチ推論はインプレースで実行されるため、データの移動は不要です。データクレンジング、AI 特徴量エンジニアリング、結果の書き戻しまでの完全なループが 1 つのシステム内で完結し、システム間のデータ転送コストが削減され、コンプライアンスが簡素化されます。
ユースケース
コンテンツ理解
-
感情とフィードバックの分析: コメント内の感情を分類し、ユーザーフィードバックを大規模に分類します。
-
インテリジェントなチケットルーティング: コンテンツに基づいてチケットを苦情、問い合わせ、提案として分類し、適切な部門にルーティングします。
-
越境ビジネスサポート: コンテンツを言語間でエンドツーエンドで翻訳し、多言語レポートを生成したり、海外市場向けにマーケティングコピーを適応させたりします。
-
一般的な要約生成: Qwen を使用して、長文ドキュメントのバッチ要約を生成し、重要な情報を抽出します。
構造化データ抽出
-
重要情報の抽出: 契約書、ログ、コメントから、甲の名前、金額、日付などの事前定義されたフィールドを抽出し、JSON として出力します。
-
自動コピー修正: データエクスポートやレポート生成の前に、構文エラーや不適切な表現を修正します。
-
非構造化データから構造化データへの変換: 自然言語のビジネスルールを、SQL 分析用の構造化データレコードに変換します。
意味検索と RAG
-
RAG ベクトルデータベースの構築: ドキュメントセットをチャンク化し、企業ナレッジベース用の意味埋め込みに変換します。
-
インテリジェントな Q&A マッチング: 意味的類似性によってユーザーの質問をナレッジベースのエントリにマッチングし、正確な自動応答を実現します。
-
インテリジェントなデータ重複排除: 類似したニュース記事やカスタマーサービスエントリなど、意味的に重複するレコードを識別し、データセットをクレンジングします。
データセキュリティとコンプライアンス
-
データマスキング: テキストをスキャンして、氏名、ID 番号、電話番号、銀行カード番号などの機密個人情報を識別し、マスクまたは置換します。
-
プライバシーコンプライアンス監査: 履歴データ資産をバッチで監査し、マスクされていない機密フィールドを検出します。
SQL 開発効率
-
スムーズなジョブ移行: HiveQL を Spark SQL に変換し、UDF の調整とウィンドウ関数の違いを解決します。
-
クエリパフォーマンスチューニング: SQL ロジックを分析し、述語プッシュダウン、バケット化、結合戦略の最適化を提案します。
-
コードコメントと提案: 複雑な SQL スクリプトのコメントを生成し、開発者がレガシーコードを理解できるよう支援します。