LLM を利用したテキストモデレーション - AI Guardrails - Alibaba Cloud ドキュメントセンター

テキストモデレーション 2.0 は、大規模言語モデル (LLM) を使用して不適切なテキストを検出します。ルールベースのアプローチと比較して、LLM は複雑で巧妙な違反をより高い精度で識別します。

重要

フィードバックや機能に関するご要望は、担当のアカウントマネージャーまでご連絡ください。

サービス

以下の LLM ベースのテキストモデレーションサービスが利用可能です：

サービス

説明

利用シーン

サービス名： UGC Text Moderation (LLM)

サービス： ugc_moderation_byllm_global

中国語、英語、スペイン語、フランス語、ポルトガル語、イタリア語、アラビア語、日本語、韓国語、インドネシア語、ロシア語、ベトナム語、ドイツ語、タイ語を含む 119 の言語をサポートする UGC テキストモデレーションサービスです。検出可能な項目の詳細なリストについては、Content Moderation コンソールをご参照ください。

汎用の UGC テキストモデレーション。

サービス名： UGC Scenario Text Moderation Large Model Service_China Version

サービス： ugc_moderation_byllm_ec

UGC シナリオ向けの LLM ベースのテキストモデレーションサービスです。検出可能な項目の詳細なリストについては、Content Moderation コンソールをご参照ください。

中国本土市場を対象とした UGC テキストモデレーションに使用します。

課金

LLM ベースのテキストモデレーションサービスは、従量課金の 2 つの課金方法をサポートしています。

従量課金

Content Moderation サービスを有効化すると、従量課金がデフォルトの課金方法になります。実際の使用量に基づいて毎日請求されます。サービスを使用しない場合、料金は発生しません。

モデレーションタイプ	サービス	単価
LLM ベースのテキストモデレーション (上級) (text_advanced)	UGC Text Moderation (LLM): ugc_moderation_byllm_global テキスト翻訳機能	1,000 呼び出しあたり 0.60 米ドル説明左側のサービスを呼び出すたびに課金されます。例えば、UGC Text Moderation (LLM) を 100 回呼び出すと、0.06 米ドルが課金されます。テキスト翻訳機能：テキスト翻訳機能を有効にすると、リクエストごとに 500 文字単位で課金されます。
LLM ベースのテキストモデレーション (中国向け) (text_llm_standard_cn)	UGC Scenario Text Moderation Large Model Service_China Version: ugc_moderation_byllm_ec	1,000 呼び出しあたり 0.31 米ドル説明左側のサービスを呼び出すたびに課金されます。例えば、UGC Scenario Text Moderation Large Model Service_China Version を 100 回呼び出すと、0.031 米ドルが課金されます。

説明

Content Moderation 2.0 の従量課金方法では、システムは 24 時間ごとに請求書を生成します。請求明細では、moderationType フィールドがモデレーションタイプに対応します。請求明細を表示できます。

リソースプラン

モデレーションの量が多い、または一貫している場合、リソースプランを利用すると大幅な割引が適用されます。複数のプランを購入してスタックすることができます。詳細については、「」Content Moderation 2.0 のリソースプランの購入をご参照ください。

モデレーションタイプ	オフセット係数
LLM ベースのテキストモデレーション (上級) (text_advanced)	成功した API 呼び出しごとに、リソースプランから 2 呼び出し分が消費されます。説明例えば、リソースプランのクォータが 10 呼び出し分の場合、1 回の成功した API 呼び出しで 2 呼び出し分が消費され、プランには 8 呼び出し分が残ります。
LLM ベースのテキストモデレーション (中国向け) (text_llm_standard_cn)	成功した API 呼び出しごとに、リソースプランから 1.04 呼び出し分が消費されます。説明例えば、リソースプランのクォータが 10 呼び出し分の場合、1 回の成功した API 呼び出しで 1.04 呼び出し分が消費され、プランには 8.96 呼び出し分が残ります。

リソースプランを購入すると、Content Moderation 2.0 の API 使用量はまずリソースプランから差し引かれます。リソースプランを使い切ると、その後の使用量は従量課金制で請求されます。プランの残高と従量課金の請求額を監視してください。リソースプランシステムで残高不足アラートを設定できます。

リスクラベル

ラベルの定義

テキストモデレーション 2.0 は、6 つのリスクカテゴリにわたる 30 以上の詳細なラベルをサポートし、それぞれについて信頼度スコア (0～100、スコアが高いほど信頼度が高い) を返します。コンテンツに複数のリスクタイプが含まれる場合、サービスは複数の詳細なラベルを返します。次の表に、リスクラベルの値、対応する信頼度スコアの範囲、およびその意味を示します。

ラベル	信頼度スコア	説明
pornographic_adult	0–100	ポルノコンテンツの疑い
sexual_terms	0–100	性の健康に関するコンテンツの疑い
sexual_suggestive	0–100	下品なコンテンツの疑い
sexual_orientation	0–100	性的指向に関するコンテンツの疑い
regional_cn	0–100	中国本土に関連するデリケートな政治的コンテンツの疑い
regional_illegal	0–100	違法な政治的コンテンツの疑い
regional_controversial	0–100	政治的な論争の疑い
regional_racism	0–100	人種差別の疑い
violent_extremist	0–100	過激派組織の疑い
violent_incidents	0–100	過激派コンテンツの疑い
violent_weapons	0–100	武器・弾薬の疑い
violence_unscList	0–100	国連制裁リスト
contraband_drug	0–100	薬物関連コンテンツの疑い
contraband_gambling	0–100	ギャンブル関連コンテンツの疑い
inappropriate_ethics	0–100	非倫理的なコンテンツの疑い
inappropriate_profanity	0–100	攻撃的または罵倒的なコンテンツの疑い
inappropriate_oral	0–100	下品な言葉遣いの疑い
inappropriate_religion	0–100	宗教的冒涜の疑い
pt_to_contact	0–100	広告の連絡先情報の疑い
pt_to_sites	0–100	外部サイトへのリダイレクトの疑い
customized	0–100	カスタムキーワードリストにヒット

リスクラベルの設定

コンソールでリスクラベルを有効または無効にできます。特定のラベルの検出範囲を調整することもできます。詳細については、Content Moderation コンソールをご参照ください。

左側のナビゲーションウィンドウで、[マシンモデレーション V2.0] > Text Moderation > Rules を選択します。
Rules Management タブで、aigc_moderation_byllm_global などの大規模モデルモデレーションソリューションを見つけ、Operation 列の Set Thesaurus をクリックします。
1. 不適切なコンテンツの検出など、設定する検出タイプを選択します。
2. [編集] をクリックして検出設定を変更します。
3. [保存] をクリックします。新しい設定は 2～5 分で本番環境に反映されます。

統合

ステップ 1: サービスの有効化

Text Moderation 2.0 サービスを有効化するには、サービスの有効化にアクセスしてください。

ステップ 2: RAM ユーザーへの権限付与

SDK を使用したり API を呼び出したりする前に、RAM ユーザーに必要な権限を付与してください。API 呼び出しを認証するために、Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ペアを作成します。手順については、「アクセスキーの取得」をご参照ください。

Alibaba Cloud アカウントを使用して RAM コンソールにログインします。
RAM ユーザーを作成します。詳細については、「RAM ユーザーの作成」をご参照ください。
RAM ユーザーに AliyunYundunGreenWebFullAccess システムポリシーを付与します。このポリシーは Content Moderation へのフルアクセスを許可します。詳細については、「RAM ユーザーの権限管理」をご参照ください。

これで、RAM ユーザーは Content Moderation API を呼び出すことができます。

ステップ 3: SDK のインストールと統合

SDK 統合ガイドについては、「TextModerationPlus 2.0 PLUS サービスの SDK と統合ガイド」をご参照ください。

API リファレンス

概要

TextModerationPlus 操作を使用して、テキストコンテンツのモデレーションタスクを作成します。HTTP リクエストの構成については、「リクエスト構造」をご参照ください。「クイックスタート」ガイドで説明されているように、事前に構成されたリクエストを使用することもできます。

OpenAPI Explorer で、手動での署名計算なしでこの操作をテストできます。呼び出しをテストすると、OpenAPI Explorer は自動的に SDK コードの例を生成します。

サービスインターフェイス： TextModerationPlus
サポートされているリージョンとエンドポイント：

リージョン	パブリックエンドポイント	VPC エンドポイント	サポートされているサービス
中国 (上海)	green-cip.cn-shanghai.aliyuncs.com	green-cip-vpc.cn-shanghai.aliyuncs.com	ugc_moderation_byllm_ec
中国 (北京)	green-cip.cn-beijing.aliyuncs.com	green-cip-vpc.cn-beijing.aliyuncs.com
中国 (杭州)	green-cip.cn-hangzhou.aliyuncs.com	green-cip-vpc.cn-hangzhou.aliyuncs.com
中国 (深セン)	green-cip.cn-shenzhen.aliyuncs.com	green-cip-vpc.cn-shenzhen.aliyuncs.com
中国 (成都)	green-cip.cn-chengdu.aliyuncs.com	利用不可
中国 (香港)	green-cip.cn-hongkong.aliyuncs.com	green-cip-vpc.cn-hongkong.aliyuncs.com	ugc_moderation_byllm_global
シンガポール	green-cip.ap-southeast-1.aliyuncs.com	green-cip-vpc.ap-southeast-1.aliyuncs.com
米国 (バージニア)	green-cip.us-east-1.aliyuncs.com	green-cip-vpc.us-east-1.aliyuncs.com
ドイツ (フランクフルト)	green-cip.eu-central-1.aliyuncs.com	green-cip-vpc.eu-central-1.aliyuncs.com

重要

ドイツ (フランクフルト) および中国 (香港) リージョンでは、シンガポールリージョンのノードがテキストモデレーションの推論を実行します。サービスは、ドイツ (フランクフルト) および中国 (香港) リージョンで、推論結果、データ、ログをローカルに処理します。

課金：この操作は課金対象です。HTTP ステータスコードが 200 を返すリクエストに対してのみ課金されます。他のエラーコードを返すリクエストには料金は発生しません。課金の詳細については、「料金」をご参照ください。

QPS 制限

デフォルトのレート制限は、アカウントごとに毎秒 50 リクエストです。この制限を超えるとスロットリングがトリガーされ、アプリケーションが中断される可能性があります。より高いレート制限をリクエストするには、担当のアカウントマネージャーにお問い合わせください。

リクエストパラメーター

パラメーター	タイプ	必須	例	説明
Service	String	はい	ugc_moderation_byllm_global	ugc_moderation_byllm_global: UGC Text Moderation (LLM) ugc_moderation_byllm_ec: UGC Scenario Text Moderation Large Model Service_China Version
ServiceParameters	JSONString	はい		モデレーションサービスのパラメーター。JSON 文字列として指定します。詳細については、「ServiceParameters」をご参照ください。

表 1. ServiceParameters

パラメーター	タイプ	必須	例	説明
content	String	はい	testing content	モデレーション対象のテキストコンテンツ。コンテンツの長さは最大 2,000 文字です。
dataId	String	いいえ	text0424****	ビジネスデータの一意の識別子。最大 64 文字。使用可能な文字：英字、数字、アンダースコア (_)、ハイフン (-)、ピリオド (.)。
accountId	String	いいえ	ID0728****	プラットフォーム上のエンドユーザーのアカウント ID。このパラメーターを使用して、結果を特定のユーザーにリンクします。例えば、ユーザー A がユーザー B とチャットする場合、A のメッセージには A の ID を、B のメッセージには B の ID を渡します。説明コンテキストを考慮したモデレーションを有効にします。この機能を有効にするには、担当のアカウントマネージャーに連絡するか、チケットを送信してください。
infoType	String	いいえ	llmContent	取得する補足情報のタイプ。有効な値： `llmContent`：LLM からの生の検出結果を返します。

レスポンスパラメーター

パラメーター	タイプ	例	説明
Code	Integer	200	HTTP ステータスコード。詳細については、「ステータスコード」をご参照ください。
Data	JSONObject	{"Result":[...]}	モデレーション結果データ。詳細については、「Data」をご参照ください。
Message	String	OK	リクエストの結果メッセージ。
RequestId	String	AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****	リクエスト ID。

表 2. Data

パラメーター	タイプ	例	説明
Result	JSONArray		リスクラベルと信頼度スコアを含む検出結果。詳細については、「Result」をご参照ください。
RiskLevel	String	high	設定された高リスクおよび低リスクのスコアしきい値に基づいて決定されるリスクレベル。有効な値： `high`：高リスク (コンテンツがカスタムライブラリに一致する場合、リスクレベルは `high` になります。) `medium`：中リスク `low`：低リスク `none`：リスクは検出されませんでした説明 `high` リスクのコンテンツには直ちに対処し、`medium` リスクのコンテンツは手動でレビューしてください。高い再現率が必要な場合にのみ `low` リスクのコンテンツを処理します。それ以外の場合は、`none` リスクレベルのコンテンツと同じように扱います。Content Moderation コンソールでリスクスコアのしきい値を設定できます。
DataId	String	text0424****	モデレーションされたコンテンツのデータ ID。説明リクエストで `dataId` パラメーターを指定した場合、このフィールドで同じ値が返されます。
AccountId	String	10123****	アカウント ID。説明リクエストで `accountId` パラメーターを指定した場合、このフィールドで同じ値が返されます。
Ext	Object		テキストの補足情報。詳細については、「Ext」をご参照ください。
TranslatedContent	String		翻訳されたテキストコンテンツ。テキスト翻訳機能が有効な場合にのみ返されます。説明テキスト翻訳機能は現在、シンガポール (シンガポール) リージョンでのみ利用可能です。コンソールで検出ルールを管理することで設定できます。追加料金が適用されます。

表 3. Result

パラメーター	タイプ	例	説明
Label	String	political_xxx	モデレーションされたコンテンツのリスクラベル。複数のラベルとスコアが返されることがあります。サポートされているラベルのリストについては、「リスクラベル」をご参照ください。
Description	String	ポルノコンテンツの疑い	`Label` フィールドの説明。重要このフィールドは参照用であり、変更される可能性があります。処理ロジックには、このフィールドではなく `Label` フィールドを使用してください。
Confidence	Float	81.22	信頼度スコア。0 から 100 の範囲です。値は小数点以下 2 桁まで正確です。一部のラベルは信頼度スコアを返しません。
Riskwords	String	AA,BB,CC	検出されたリスクワード。カンマで区切られます。このフィールドは一部のラベルでは返されません。
CustomizedHit	JSONArray	[{"LibName":"...","Keywords":"..."}]	コンテンツがカスタムライブラリのエントリと一致する場合、`Label` は `customized` となり、このフィールドはライブラリ名と一致したキーワードを返します。詳細については、「CustomizedHit」をご参照ください。
RiskPositions	JSONArray		検出されたリスクワードの位置に関する情報。詳細については、「RiskPositions」をご参照ください。

表 4. CustomizedHit

パラメーター	タイプ	例	説明
LibName	String	カスタムライブラリ 1	カスタムライブラリの名前。
Keywords	String	カスタムキーワード 1,カスタムキーワード 2	一致したカスタムキーワード。カンマで区切られます。

表 5. RiskPositions

パラメーター	タイプ	例	説明
RiskWord	String	AA	検出されたリスクワード。
StartPos	Integer	10	テキスト内のリスクワードの開始位置。
EndPos	Integer	12	テキスト内のリスクワードの終了位置。

表 6. Ext

パラメーター

タイプ

例

説明

表 7. LlmContent

パラメーター	タイプ	例	説明
OutputText	String	下品な言葉遣いの疑い	LLM ベースのテキストモデレーションモデルからの生の検出結果。

例

リクエスト例：

{
    "Service": "ugc_moderation_byllm_global",
    "ServiceParameters": {
        "content": "testing content",
        "dataId": "text0424****"
    }
}

レスポンス例：

システムポリシーの一致：

{
    "Code": 200,
    "Data": {
        "Result": [
            {
                "Label": "political_entity",
                "Description": "政治的エンティティの疑い",
                "Confidence": 100.0,
                "RiskWords": "WordA,WordB",
                "RiskPositions": [
                    {
                        "EndPos": 14,
                        "RiskWord": "WordA",
                        "StartPos": 16
                    }
                ]
            },
            {
                "Label": "political_figure",
                "Description": "政治的人物の疑い",
                "Confidence": 100.0,
                "RiskWords": "WordB,WordC",
                "RiskPositions": [
                    {
                        "EndPos": 24,
                        "RiskWord": "WordC",
                        "StartPos": 26
                    }
                ]
            }
        ],
        "RiskLevel": "high",
        "DataId": "text0424****"
    },
    "Message": "OK",
    "RequestId": "AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****"
}

カスタムライブラリの一致：

{
    "Code": 200,
    "Data": {
        "Result": [
            {
                "Description": "カスタムライブラリにヒットしました",
                "CustomizedHit": [
                     {
                        "LibName": "カスタムライブラリ名 1",
                        "Keywords": "カスタムキーワード"
                     }
                ],
                "Confidence": 100,
                "Label": "customized"
             }
        ],
        "RiskLevel": "high",
        "DataId": "text0424****"
    },
    "Message": "OK",
    "RequestId": "AAAAAA-BBBB-CCCCC-DDDD-EEEEEEEE****"
}

生の LLM 結果：

{
  "RequestId": "ZZZZZ-2024-0307-FORYOU-EVER",
  "Message": "OK",
  "Data": {
    "Ext": {
      "LlmContent": {
        "OutputText": "攻撃的または罵倒的なコンテンツの疑い"
      }
    },
    "Result": [
      {
        "RiskWords": "リスクワード",
        "Description": "攻撃的または罵倒的なコンテンツの疑い",
        "Confidence": 100.0,
        "Label": "inappropriate_profanity",
        "RiskPositions": [
          {
            "RiskWord": "リスクワード",
            "EndPos": 5,
            "StartPos": 2
          }
        ]
      }
    ],
    "RiskLevel": "high"
  },
  "Code": 200
}

ステータスコード

コード	ステータステキスト	説明
200	OK	リクエストは成功しました。
400	BAD_REQUEST	無効なリクエストです。リクエストパラメーターを確認してください。
408	PERMISSION_DENY	アカウントが未承認であるか、支払いが遅延しているか、サービスが有効化されていない可能性があります。
500	GENERAL_ERROR	内部サーバーエラーです。リクエストを再試行してください。エラーが続く場合は、オンラインサポートにお問い合わせください。
581	TIMEOUT	リクエストがタイムアウトしました。リクエストを再試行してください。エラーが続く場合は、オンラインサポートにお問い合わせください。
588	EXCEED_QUOTA	レート制限を超えました。リクエストの頻度を減らしてください。