すべてのプロダクト
Search
ドキュメントセンター

Content Moderation:機械支援モデレーションのポリシーのカスタマイズ

最終更新日:Jan 08, 2025

コンテンツモデレーションは、機械支援モデレーションにAlibaba Cloudのデフォルトのモデレーションポリシーを使用します。デフォルトのモデレーションポリシーが厳しすぎる、または緩すぎるため、ビジネス要件を満たしていない場合は、コンテンツモデレーション内で機械支援モデレーションのポリシーをカスタマイズできます。このトピックでは、機械支援モデレーションのポリシーをカスタマイズする方法について説明します。

背景情報

BizType設定はビジネスシナリオを指定します。モデレーションポリシーは、ビジネスシナリオに基づいてカスタマイズされます。各ビジネスシナリオは、モデレーションポリシーに対応しています。モデレーションポリシーをカスタマイズしない場合は、デフォルトのビジネスシナリオと対応するデフォルトのモデレーションポリシーが使用されます。ビジネスシナリオに基づいて機械支援モデレーションのポリシーをカスタマイズした後、コンテンツモデレーションのAPIリクエストでビジネスシナリオを指定できます。この場合、対応するモデレーションポリシーが有効になります。

手順

  1. コンテンツモデレーションコンソール にログインします。

  2. 左側のナビゲーションペインで、[機械監査 V1.0] > [設定] を選択します。

  3. ビジネスシナリオを作成します。

    ビジネスシナリオをすでに作成している場合は、この手順をスキップします。

    1. [biztype 管理] タブの [機械監査] ページで、[biztype を作成] をクリックします。

    2. [biztype を作成] ダイアログボックスで、次の表に示すパラメータを設定します。名前を設定し、業種テンプレートとビジネスシナリオの業種カテゴリを指定できます。

      パラメータ

      説明

      名前

      ビジネスシナリオの名前。名前には数字、文字、アンダースコア(_)を含めることができます。最大 32 文字まで入力できます。

      テンプレートの適用

      業種テンプレートの構成をインポートするかどうかを指定します。業種テンプレートを使用する場合、モデレーションポリシーの特定の機能はカスタマイズできません。業種テンプレートを使用しない場合は、モデレーションポリシーをカスタマイズできます。

      業種カテゴリ

      ビジネスシナリオの業種カテゴリ。適切な業種カテゴリを指定することで、Alibaba Cloud がモデレーションポリシーの調整を支援できます。

      コピー元

      ビジネスシナリオをすでに作成している場合は、既存のビジネスシナリオの構成をインポートできます。

      説明

      ビジネスシナリオの説明。説明には、文字、数字、アンダースコア(_)を含めることができます。最大 32 文字まで入力できます。

    3. [OK] をクリックします。ビジネスシナリオが作成されます。

  4. ビジネスシナリオを設定します。

    ビジネスシナリオを設定するには、[モデレーションポリシー][監査データ][証拠ストレージ] タブで設定を行います。

    • [モデレーションポリシー] タブの設定

      モデレーションポリシーテンプレートは、モデレーションシナリオによって異なります。詳細については、コンソールのテンプレートを参照してください。

      1. [機械監査] ページで、設定するビジネスシナリオを見つけ、[アクション] 列の [編集] をクリックします。

      2. ビジネス要件に基づいて、機械支援モデレーションのポリシーをカスタマイズします。

        コンテンツモデレーションでは、画像、動画、テキスト、音声のモデレーションポリシーをカスタマイズできます。画像と動画の場合、機械支援モデレーションは、ポルノ検出、テロコンテンツ検出、好ましくないシーン検出、広告違反検出をカバーします。テキストと音声の場合、機械支援モデレーションは、ポルノコンテンツ、政治的コンテンツ、虐待、広告、禁止コンテンツを検出します。

        特定のモデレーションシナリオがビジネスに必要ない場合は、そのモデレーションシナリオを選択しないでください。たとえば、広告をモデレートしたくない場合は、機械支援モデレーションのポリシーをカスタマイズするときに、すべての広告関連のモデレーションシナリオの選択を解除できます。

        説明

        画像のモデレーションポリシーをカスタマイズする場合は、セクションの右上隅にある [関連ギャラリー] または [関連テキストライブラリ] をクリックして、モデレーションポリシーを画像ライブラリまたはテキストライブラリの構成に関連付けることができます。

      3. [保存] をクリックします。

        APIオペレーションを呼び出すときに特定のモデレーションシナリオにカスタマイズされたポリシーを使用する必要がある場合は、APIリクエストでモデレーションシナリオを指定する必要があります。たとえば、ポルノコンテンツの画像をモデレートするためにAPIオペレーションを呼び出す場合は、APIリクエストで scenes パラメータを porn に設定します。この場合、対応するモデレーションポリシーが有効になります。詳細については、/green/image/scan をご参照ください。

    • [監査データ] タブの設定

      1. [監査データ] タブをクリックします。

      2. [監査データ] タブで、レビューするデータのタイプを選択します。

        人間のレビュー機能の詳細については、機械支援モデレーション結果のレビュー をご参照ください。

    • [証拠ストレージ] タブの設定

      コンテンツモデレーション API を呼び出してコンテンツをモデレートする場合、オブジェクトストレージサービス (OSS) バケットに証拠を保存する機能を有効にして、機械支援モデレーションの結果から得られた証拠を保持できます。証拠ストレージ機能は、Alibaba Cloud OSS と一緒に使用する必要があります。この機能を使用して、指定された OSS バケットに、動画、音声、画像で識別された違法コンテンツ、疑わしいコンテンツ、正常なコンテンツを保存できます。コンテンツが保存されると、保存されたコンテンツの OSS URL が生成されます。このセクションでは、OSS バケットに証拠を保存する機能を有効化および設定する方法について説明します。

      指定された OSS バケットには、違法、疑わしい、または正常なコンテンツが識別された動画、音声、画像のみを保存できます。保存されるコンテンツとは、suggestion パラメータで返される機械支援モデレーションの結果が block、review、または pass である動画、音声、画像を指します。block の値は違法を示し、review の値は疑わしいことを示し、pass の値は正常を示します。

      デフォルトでは、証拠ストレージ機能は無効になっています。この機能を使用するには、この機能を有効にし、違法、疑わしい、または正常なコンテンツが識別された動画、音声、画像を OSS バケットに保存するためのデータを設定する必要があります。

      • 指定された OSS バケットに動画証拠を保存する機能が有効になっている場合、機械支援モデレーションの結果が block、review、または pass である動画ファイルまたはストリームと、関連する動画スナップショットが指定された OSS バケットに保存されます。

      • 指定された OSS バケットに音声証拠を保存する機能が有効になっている場合、機械支援モデレーションの結果が block、review、または pass である音声ファイルまたはストリームと、関連する音声フラグメントが指定された OSS バケットに保存されます。

      • 指定された OSS バケットに画像証拠を保存する機能が有効になっている場合、機械支援モデレーションの結果が block、review、または pass である画像が指定された OSS バケットに保存されます。

      1. [証拠ストレージ] タブをクリックします。

      2. [証拠ストレージ] タブで、必要に応じて [動画証拠ストレージ][音声証拠ストレージ][画像証拠転送] セクションの [証拠ストレージを有効にする] をオンにし、必要な設定を行います。

        説明

        初めてコンテンツモデレーションコンソールにログインする場合は、プロンプトに従って、現在のアカウントに OSS に対する読み取りおよび書き込み権限を付与する必要があります。OSS バケットの違法コンテンツを検出するためのアクセス許可ポリシーを再利用できます。現在のアカウントに必要なアクセス許可が付与されている場合は、[証拠ストレージ] タブが表示されます。

        パラメータ

        説明

        OSS バケット

        証拠ファイルを保存するために使用される OSS バケット。

        ストレージディレクトリ

        指定された OSS バケット内の証拠ファイルを保存するために使用されるフォルダ。すべての証拠ファイルは、保存ルールに基づいて指定されたフォルダに保存されます。詳細については、保存ルール をご参照ください。

        説明

        指定されたフォルダが OSS バケットに存在しない場合は、自動的に作成されます。

        URL の有効期間

        OSS バケットに保存されている各証拠ファイルの OSS URL の有効期間。有効な値: 300 ~ 3600。単位: 秒。

        転送範囲

        有効な値:

        • 機械識別違反: 機械支援モデレーションの結果が block であるコンテンツを保存します。

        • 機械識別が疑わしい: 機械支援モデレーションの結果が review であるコンテンツを保存します。

        • 機械識別は正常です。: 機械支援モデレーションの結果が pass であるコンテンツを保存します。

      3. [保存] をクリックします。

        証拠ストレージ機能の設定が完了すると、API オペレーションを呼び出して動画と画像をレビューし、音声のスパムを検出するときに、検出された違法コンテンツ、疑わしいコンテンツ、正常なコンテンツが指定された OSS バケットに保存されます。保存された動画関連ファイルの OSS URL は返された data.extras.newUrl パラメータに、保存された音声関連ファイルの OSS URL は返された data.new_url パラメータと data.result.details.url パラメータに、保存された画像ファイルの OSS URL は返された data.storedUrl パラメータに表示されます。OSS コンソール にログインして、指定されたバケットに保存されているファイルを表示することもできます。

        保存ルール

        表 1. 動画関連ファイルの保存ルール

        ファイルタイプ

        保存パス

        命名規則

        動画ファイル

        ${bucket}/${ストレージフォルダ}/video/${suggestion}/${taskId}/${動画名.接尾辞}

        OSS バケットに保存されている動画ファイルは、元の動画ファイルの名前で命名されます。

        動画スナップショット

        ${bucket}/${ストレージフォルダ}/video/${suggestion}/${taskId}/${動画スナップショット名.接尾辞}

        OSS バケットに保存されている動画スナップショットファイルは、スナップショットがキャプチャされた時点に基づいて命名されます。たとえば、00_01_02 は、スナップショットが 00:01:02 にキャプチャされたことを示します。

        動画ストリーム

        ${bucket}/${ストレージフォルダ}/video/${suggestion}/${taskId}/${動画ストリーム名.接尾辞}

        OSS バケットに保存されている動画ストリームファイルは、レビューが開始された時点に基づいて命名されます。たとえば、20190102_12_02_03.wav という名前は、動画ストリームのレビューが 2019 年 1 月 2 日の 12:02:03 に開始されたことを示します。

        表 2. 音声関連ファイルの保存ルール

        ファイルタイプ

        保存パス

        命名規則

        音声ファイル

        ${bucket}/${ストレージフォルダ}/audio/${suggestion}/${taskId}/${音声名.接尾辞}

        OSS バケットに保存されている音声ファイルは、元の音声ファイルの名前で命名されます。

        音声フラグメント

        ${bucket}/${ストレージフォルダ}/audio/${suggestion}/${taskId}/${音声フラグメント名.接尾辞}

        OSS バケットに保存されている音声フラグメントファイルは、音声フラグメントの開始時刻と終了時刻に基づいて命名されます。たとえば、00_01_02-00_10_13.mp3 という名前は、音声フラグメントが元の音声ファイルの 00:01:02 から 00:10:13 までトリミングされていることを示します。

        表 3. 画像ファイルの保存ルール

        ファイルタイプ

        保存パス

        命名規則

        画像

        ${bucket}/${ストレージフォルダ}/image/${suggestion}/${taskId}/${画像名.接尾辞}

        OSS バケットに保存されている画像ファイルは、元の画像ファイルの名前で命名されます。