DataWorks:データ検出ルールとタスクの設定

背景情報

データ検出ルールへの移動

1. DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウでデータガバナンス > セキュリティセンターをクリックします。表示されたページで、入力セキュリティセンターをクリックします。

2. 左側のナビゲーションウィンドウで、[データセキュリティ] > [機密データ管理] をクリックし、次に [今すぐ試す] をクリックしてデータセキュリティガードにアクセスします。

   説明

   • ご利用の Alibaba Cloud アカウントがすでに権限付与されている場合は、データセキュリティガードのホームページにリダイレクトされます。

   • Alibaba Cloud アカウントに権限が付与されていない場合、データセキュリティガードの権限付与ページにリダイレクトされます。初めてデータセキュリティガードの機能を使用するには、[データセキュリティ] > [機密データ管理] に移動し、ポップアップダイアログでデータセキュリティガードを選択して、権限付与を完了します。

3. 左側のナビゲーションウィンドウで、Rule Setting > [機密データ検出] を選択して、[データ検出ルール] ページに移動します。

ステップ 1：データ分類とグレーディングの設定

機密フィールドタイプは、いずれかのデータカテゴリに属し、感度レベルが定義されている必要があります。したがって、新しい機密フィールドタイプを作成してデータ検出ルールを設定する前に、まずデータ分類とグレーディングを設定する必要があります。

• データセキュリティガードは、4 つの感度レベルと 4 つの主要カテゴリを持つ組み込みの分類およびグレーディングテンプレートを提供しており、これを直接使用できます。DataWorks では、組み込みテンプレートを編集したり、新しい分類や等級を作成したりできます。最大 10 の感度レベルを定義できます。カテゴリについては、複数のレイヤー、サブカテゴリ、およびそれらに含まれる機密フィールドタイプをカスタマイズできます。

• Rule Setting > Data classification grading ページで感度レベルを設定します。

  • データ分類とグレーディングのページには、デフォルトの組み込みテンプレートが表示されます。テンプレートの横にある アイコンをクリックして、テンプレート名、説明、感度レベルの数を変更できます。

• Rule Setting > [機密データ検出] ページでデータカテゴリを設定します。

  • 初めて Data Security Guard を使用する場合、データ検出ルールページの左側のナビゲーションウィンドウに、組み込みの分類とグレーディングテンプレートのデフォルトカテゴリが表示されます。 名前でカテゴリを検索するか、カテゴリの横にある アイコンをクリックして、[兄弟カテゴリの追加]、[サブカテゴリの追加]、Rename、Delete などの操作を実行できます。

  • 既存のデータセキュリティガードユーザーの場合は、データ検出ルールページの左側のナビゲーションウィンドウでデータカテゴリを作成できます。最大 4 つのカテゴリを作成できます。

ステップ 2：データ検出ルールの設定

データ検出ルールは、機密フィールドタイプに基づいて構成されます。このトピックでは、新しい機密フィールドタイプを作成し、データ検出ルールを構成することを例に、構成プロセスを順を追って説明します。組み込みの機密フィールドタイプに基づいてデータ検出ルールを構成することもできます。

1. データ検出ルールページで、右上隅の [+機密フィールドタイプ] をクリックして、機密フィールドタイプを作成します。

2. 機密フィールドタイプの基本情報を設定します。

   1. Basic Information タブで、機密フィールドのタイプ、カテゴリ、感度レベルを設定します。

      次の表にパラメーターを説明します。

      パラメーター	説明
      センシティブフィールドタイプ	機密フィールドタイプのカスタム名 (例：名前、ID カード番号、電話番号)。名前は一意である必要があります。
      カテゴリ	機密フィールドタイプが属するカテゴリを選択します。既存のカテゴリが要件を満たさない場合は、Data classification grading ページに移動して設定します。詳細については、「データ分類と等級付けを設定する」をご参照ください。
      感度レベル	機密フィールドタイプの感度レベルを選択します。数値が大きいほど、感度レベルが高くなります。既存の感度レベルが要件を満たさない場合は、Data classification grading ページに移動して設定します。詳細については、「データ分類と等級付けを設定する」をご参照ください。

   2. Next Step をクリックします。

3. 機密フィールドタイプの検出ルールを設定します。

   Rule Setting タブで、データ検出ルールを設定し、一致条件を指定し、ルールの精度をテストします。

   パラメーター	説明
   Hit Rules	右側のドロップダウンリストから、検出ルールの一致条件を選択します。 Satisfy any rule: Data Content Identification または Field Name Identification のいずれかの条件が満たされた場合に、ルールがトリガーされます。 すべてのルールを満たす: データコンテンツ識別とフィールド名識別の両方のすべての条件が満たされた場合にのみ、ルールがトリガーされます。 説明 Hit Rules 設定は、Data Content Identification および Field Name Identification ルールにのみ適用されます。
   Data Content Identification	フィールドのデータの内容 (値) を識別します。たとえば、name フィールドの値が "Zhang San" の場合、ルールは "Zhang San" を識別します。 説明 内容スキャン機能は、DataWorks Professional Edition 以上でのみ利用可能です。下位エディションをご利用の場合は、Professional Edition 以上のエディションにアップグレードしてください。アップグレードの詳細については、「DataWorks エディションの選択と購入」をご参照ください。 機密テキストに一致させるために、次の 4 つのルールタイプのいずれかを使用してルール内容を定義します。 Regular Expression: 正規表現を入力し、テストデータでその精度を検証します。 組み込み検出ルール：組み込み検出ルールを選択し、テストデータを提供してその精度を検証します。 説明 [組み込みの検出ルール]は DataWorks Enterprise Edition でのみ利用可能です。 サンプルライブラリ：設定済みのルールサンプルを選択してテストデータを提供し、その精度を検証します。サンプルの設定方法の詳細については、「サンプルライブラリを使用してデータを識別する」をご参照ください。 自己生成モデル：カスタムルールモデルを選択し、テストデータを提供して精度を検証します。カスタムモデルの設定方法の詳細については、「カスタムモデルを使用したデータの識別」をご参照ください。 説明 [自己生成モデル] ルールタイプは、 MaxCompute エンジンでのみサポートされています。[自己生成モデル] 機能は、 DataWorks Enterprise Edition でのみ利用可能です。
   Field Name Identification	フィールドの名前を識別します。たとえば、name フィールドの値が "Zhang San" の場合、ルールは name を識別します。 機密データとして識別するフィールドを入力してください。複数のフィールドは、OR 関係で照合されます。データソースごとの入力フォーマットは以下のとおりです。 EMR、CDH、MaxCompute: project.table.column Hologres： instance_id.project.table.column フォーマットの任意の部分でワイルドカードとしてアスタリスク (*) を使用できます。例： a.b.*：プロジェクト a のテーブル b 内のすべてのフィールドが機密データとして識別されることを示します。 ab*.c*.salary：ab で始まるプロジェクト内の c で始まるテーブルのすべての salary フィールドが機密データとして識別されることを示します。 cd.ef.sa*ry ：cd で終わるプロジェクト内で、ef で始まるテーブルの sa で始まり ry で終わるすべてのフィールドが機密データとして識別されることを示します。
   Field Annotation Identification	フィールドのコメントを識別します。たとえば、電話番号の機密フィールドタイプに対して、「電話番号」と「連絡先情報」をコメントキーワードとして設定できます。システムがコメントに「連絡先情報」を含むフィールドを検出すると、サービスはそのフィールドを電話番号として識別します。 テキストボックスにフィールドコメントを入力します。コメントは最大 100 文字で、文字制限はありません。最大 10 個のテキストボックスを追加できます。
   フィールド除外	入力ボックスに、除外するフィールドを入力します。フィールド除外ルールに一致するフィールドは、この識別ルールでは一致しません。複数のフィールドに一致させることができ、それらは OR 関係に基づいて評価されます。さまざまなデータソースの入力フォーマットは次のとおりです。 EMR、CDH、および MaxCompute: project.table.column Hologres： instance_id.project.table.column フォーマットの任意の部分でワイルドカードとしてアスタリスク (*) を使用できます。例： a.b.*：プロジェクト a のテーブル b 内のすべてのフィールドが機密データとして識別されることを示します。 ab*.c*.salary：ab で始まるプロジェクト内の c で始まるテーブルのすべての salary フィールドが機密データとして識別されることを示します。 cd.ef.sa*ry ：cd で終わるプロジェクト内で、ef で始まるテーブルの sa で始まり ry で終わるすべてのフィールドが機密データとして識別されることを示します。
   ヒット率の構成	この設定では、一致率をカスタマイズできます。これは、ルールがトリガーされるために、フィールド内の空ではないデータが Data Content Identification 条件に一致しなければならない最小パーセンテージを指定します。たとえば、50% です。デフォルトは 50% です。 一致率は、次の数式で計算されます: 100% * (フィールド内の一致データ数) / (フィールド内の全データ数)。 説明 一致率は、データ内容識別ルールにのみ適用されます。

4. データ検出ルールを公開します。

   [公開] をクリックすると、現在のデータ検出ルールが公開されます。 公開されたルールは、検出タスクで対応する機密データを識別するために使用できます。

ステップ 3：検出タスクの権限付与と開始

データ検出ルールを設定した後、機密データ検出タスクを権限付与して開始します。これにより、これらのルールに基づいてテナント内の機密データが識別されます。

1. 機密データ検出タスクに権限を付与します。

   初めて機密データ検出タスクを開始するときは、[機密データ検出] ページの左上隅にある [今すぐ承認] をクリックし、画面の指示に従って権限を付与します。

   説明

   機密データ検出タスクが開始されると、[機密データ検出]ページの右上隅にある [権限付与記録] をクリックして、権限付与の詳細を表示できます。

2. 機密データ検出タスクを開始します。

   1. 機密データ検出タスクを設定します。

      機密データ検出タスクを設定する際には、タスクタイプ、スキャン方法、および範囲を指定する必要があります。リアルタイムタスク、定期タスクを設定するか、手動で新しい検出タスクを作成できます。

      1. リアルタイムタスクを設定します。

         次の表にパラメーターを説明します。

         パラメーター	説明
         検出アカウント	データのサンプリングとスキャンに Alibaba Cloud アカウント と RAM ユーザー のどちらを使用するかを指定します。サンプリングできるデータの範囲は、選択したアカウントの権限によって異なります。 説明 検出に RAM ユーザー を使用する場合、その RAM ユーザーは MaxCompute プロジェクトに対する権限を持っている必要があります。
         リアルタイム検出	リアルタイム検出は ODPS のみサポートしています。新しいテーブルやフィールドの追加、フィールドの変更など、ODPS メタデータが変更されると、データセキュリティガードは変更されたメタデータに対して自動的に検出タスクを開始します。 データセキュリティガードはメタデータの変更情報をリアルタイムで取得します。変更が新しいテーブルやフィールドによるものである場合、まだデータが含まれていない可能性があります。この場合、サービスは機密データ識別にメタデータのみを使用します。

      2. 定期タスクを設定します。次の表にパラメーターを説明します。

         パラメーター	説明
         タスクの実行	タスクを手動で有効にする必要があります。
         後続の検出タスクのスキャンおよび更新ポリシー	次の 2 つのオプションが利用可能です。 変更されたルール、これらの変更の影響を受けるデータ、および以前の結果がないデータのみを再スキャンして結果を更新します。 すべてのデータを再スキャンし、既存のすべての結果を上書きします。 チェックボックスを選択すると、サービスが手動で修正された結果を上書きするのを防ぐことができます。
         検出アカウント	データのサンプリングおよびスキャンに Alibaba Cloud Account を使用するか、Sub-account を使用するかを指定します。サンプリングおよびスキャンできるデータの範囲は、選択したアカウントの権限によって異なります。 説明 サンプリングとスキャンに RAM ユーザー を使用する場合、その RAM ユーザーは MaxCompute プロジェクトに対する権限を持っている必要があります。
         コンテンツ識別	[コンテンツ識別] と [メタデータ識別] を有効にするかどうかを指定します。対応するルールは、このオプションが選択されている場合にのみ有効になります。 説明 内容識別を有効にしない場合、データセキュリティガードはデータをサンプリングまたはスキャンしません。内容識別ルールは有効になりませんが、フィールド名とフィールドコメントのルールはアクティブなままです。
         Sampling quantity	内容識別のためにサンプリングするデータエントリの数を指定します。100 を超える値を推奨します。 このパラメーターは、[コンテンツ識別] が有効な場合に必須です。
         スキャン周波数とスキャン時間	定期タスクのスキャンサイクルを定義します。 このパラメーターは、タスクタイプ が [スケジュールタスク] に設定されている場合にのみ必須です。 [スキャン頻度] を [週に 1 回] または [1 日に 1 回] に設定できます。週次スキャンの場合、月曜日から金曜日までの任意の日を選択できます。時間範囲は 00:00 から 23:59 までです。
         スキャン範囲	機密データ検出タスクのデータ範囲を設定します。 Full Backup: 現在のテナント内において、承認済みアカウントでアクセス可能なすべてのデータをスキャンします。 部分データ：指定されたプロジェクト内のテーブルデータをスキャンします。 説明 デフォルトでは、範囲にはすべてのデータエンジンにわたるすべてのプロジェクトが含まれます。 現在、ODPS、EMR、および Hologres プロジェクトで指定されたテーブルをスキャンできます。 テーブル名は最大 100 文字です。すべての文字タイプがサポートされています。このフィールドを空白のままにした場合、すべてのテーブルがスキャンされます。 .* ワイルドカードがサポートされています。たとえば、.*name は、末尾が name のテーブルに一致します。また、private.* は、先頭が private のテーブルに一致します。 複数のテーブル名またはフィールド名を区切るには、カンマ (,) を使用します。 [部分的なデータ] を選択した場合、複数のプロジェクトまたはデータベースのスキャン範囲を追加できます。最終的なスキャン範囲は、指定されたすべての範囲の UNION です。 左側のペインからプロジェクトを手動で選択する必要があります。 プロジェクトを選択すると、その範囲内のテーブルが右側に表示されます。テーブルを手動で選択するか、すべて選択できます。デフォルトでは、選択した範囲内のすべてのテーブルが含まれます。 プロジェクト/データベースの範囲とテーブルの両方でキーワード検索がサポートされています。テーブルを検索するには、まずプロジェクトを選択し、そのプロジェクト内で検索を実行する必要があります。

      3. 手動タスクを設定します。これにより、新しい検出タスクが作成されます。次の表にパラメーターを説明します。

         パラメーター	説明
         検出タスクのスキャンおよび更新ポリシー	次の 2 つのオプションが利用可能です。 変更されたルール、これらの変更の影響を受けるデータ、および以前の結果がないデータのみを再スキャンして結果を更新します。 すべてのデータを再スキャンし、既存のすべての結果を上書きします。 チェックボックスを選択すると、サービスが手動で修正された結果を上書きするのを防ぐことができます。
         検出アカウント	データのサンプリングおよびスキャンにAlibaba Cloud Account を使用するか、Sub-account を使用するかを指定します。サンプリングおよびスキャンできるデータの範囲は、選択したアカウントの権限によって異なります。 説明 サンプリングとスキャンに RAM ユーザー を使用する場合、その RAM ユーザーは MaxCompute プロジェクトに対する権限を持っている必要があります。
         コンテンツ識別	[コンテンツ識別] と [メタデータ識別] を有効にするかどうかを指定します。 対応するルールは、このオプションが選択されている場合にのみ有効になります。 説明 内容識別を有効にしない場合、データセキュリティガードはデータをサンプリングまたはスキャンしません。内容識別ルールは有効になりませんが、フィールド名とフィールドコメントのルールはアクティブなままです。
         Sampling quantity	内容識別のためにサンプリングするデータエントリの数を指定します。100 を超える値を推奨します。 このパラメーターは、[コンテンツ識別] が有効な場合に必須です。
         スキャン範囲	機密データ検出タスクのデータ範囲を設定します。 Full Backup: 現在のテナント内で承認済みアカウントがアクセス可能なすべてのデータをスキャンします。 部分データ：指定されたプロジェクト内のテーブルデータをスキャンします。 説明 デフォルトでは、範囲にはすべてのデータエンジンにわたるすべてのプロジェクトが含まれます。 現在、ODPS、EMR、および Hologres プロジェクトで指定されたテーブルをスキャンできます。 テーブル名は最大 100 文字までです。すべての文字タイプがサポートされています。このフィールドを空白のままにすると、すべてのテーブルがスキャンされます。 .* ワイルドカードがサポートされています。例えば、.*name は name で終わるテーブルに一致し、private.* は private で始まるテーブルに一致します。 複数のテーブル名またはフィールド名を区切るには、カンマ (,) を使用します。 [一部のデータ] を選択した場合、複数のプロジェクトまたはデータベースのスキャン範囲を追加できます。最終的なスキャン範囲は、指定されたすべての範囲の UNION です。 左側のペインからプロジェクトを手動で選択する必要があります。 プロジェクトを選択すると、その範囲内のテーブルが右側に表示されます。テーブルを手動で選択するか、すべて選択できます。デフォルトでは、選択した範囲内のすべてのテーブルが含まれます。 プロジェクト/データベースの範囲とテーブルの両方でキーワード検索がサポートされています。テーブルを検索するには、まずプロジェクトを選択し、そのプロジェクト内で検索を実行する必要があります。

   2. Enable をクリックして、スキャンタスクを開始します。

      タスクが開始されると、Node Status は次のように変更されます:

      1. リアルタイムタスク：ステータスが「有効化中」に変わります。

      2. 定期タスク：ステータスが「有効化中」に変わります。サービスは設定された時間に検出タスクを開始します。

      3. 新しい検出タスク：プログレスバーが表示されます。進行状況が 100% に達するとスキャンは完了です。進行状況は次のように計算されます：(現在のタスクでスキャンされたテーブル数 / 現在のタスクでスキャンされるべき総テーブル数) × 100%。

      説明

      1. 検出ルールを変更した場合、変更は次の定期スキャンで有効になります。新しいルールをすぐにトリガーするには、手動で新しい検出タスクを作成する必要があります。

      2. スキャンタスクが完了すると、Node Status は [タスクなし] に更新されます。

データ検出ルールの管理

• ルールのコピー: 既存のルールをすばやくコピーするには、 アイコンをクリックします。新しいルールの名前には、デフォルトで -copy サフィックスが付き、ステータスは Draft になります。必要に応じて設定できます。

• ルールの編集：ルール情報を変更するには、 アイコンをクリックします。

  説明

  • 組み込みの機密フィールドタイプに基づいて設定されたルールの基本情報は変更できません。

  • ルールが変更されると、以前にルールに一致したフィールドの識別結果はクリアされます。

• ルールの削除：ルールが不要になった場合は、 アイコンをクリックして削除します。

  重要

  機密フィールドタイプの検出ルールを削除すると、大きな影響があります。削除を確定する前に、次の結果を慎重に確認してください。

  • この機密フィールドタイプのレコードが検出結果から削除されます。詳細については、「機密データ検出結果の表示と手動修正」をご参照ください。

  • データ検出の機密データ分布情報には、この機密フィールドタイプの統計が含まれなくなります。詳細については、「機密データの概要」をご参照ください。

  • この機密フィールドタイプは、それを参照しているリスク識別ルールから削除されます。詳細については、「リスク識別ルールの管理」をご参照ください。

• Batch Publishルール：ルールは、機密データを識別するために使用する前に、公開する必要があります。ルールが多数ある場合は、バッチで公開できます。

  1. 「データ検出ルール」ページで、Batch Publish をクリックし、公開するルールを選択します。

     説明

     Draft 状態のルールのみ選択できます。

  2. Deploy をクリックします。ルールが公開されると、ステータスが Yes に変わります。

     説明

     キャンセルするには、Cancel をクリックします。ルールは Draft 状態に戻ります。

• 一括無効化ルール：ルールが無効化されると、対応する機密フィールドタイプの検出には使用されなくなります。この機密フィールドタイプのレコードは、Data Discovery や手動修正などのモジュールから削除されます。ルールを無効化する前に、その機密フィールドタイプが[データマスキングルール]またはRisk identification rulesによって参照されているかどうかを確認してください。参照されている場合は、まず[データマスキングルール]を無効化し、Risk identification rulesから参照を削除する必要があります。詳細については、「データマスキングルールを作成する」および「リスク識別ルールを管理する」をご参照ください。

  1. データ検出ルールページで、[一括無効化] をクリックし、無効化するルールを選択します。

     説明

     状態がYesのルールのみ選択できます。

  2. [一括無効化] をクリックします。ルールが無効化されると、ステータスが Draft に変更されます。

     説明

     キャンセルするには、Cancel をクリックします。ルールは Yes の状態に戻ります。

タスク実行記録の表示

機密データ検出 > Identify Tasks > タスク実行記録 ページには、過去 1 週間以内に完了したタスクが一覧表示されますが、進行中のタスクは表示されません。 開始時間、End Time、時間がかかる、タスクタイプ、Owner、Data Scope などの詳細を表示できます。