DataWorks:Configurar reglas y tareas de detección de datos

Contexto

Ir a las reglas de detección de datos

1. Inicie sesión en la consola de DataWorks. En la región objetivo, haga clic en Data Governance > Security Center en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Security Center.

2. En el panel de navegación izquierdo, haga clic en Data Security > Sensitive Data Management y luego haga clic en Try Now para acceder a Data Security Guard.

   Nota

   • Si su cuenta de Alibaba Cloud ya está autorizada, se le dirigirá a la página principal de Data Security Guard.

   • Si su cuenta de Alibaba Cloud no está autorizada, se le redirigirá a la página de autorización de Data Security Guard. Para utilizar las funciones de Data Security Guard por primera vez, vaya a Data Security > Sensitive Data Management, seleccione Data Security Guard en el cuadro de diálogo emergente y complete la autorización.

3. En el panel de navegación izquierdo, elija Rule Setting > Sensitive Data Detection para ir a la página de reglas de detección de datos.

Step 1: Configure data classification and grading

Un tipo de campo sensible debe pertenecer a una categoría de datos y tener un nivel de sensibilidad definido. Por lo tanto, antes de crear un nuevo tipo de campo sensible y configurar su regla de detección de datos, debe configurar primero la clasificación y graduación de datos.

• Data Security Guard proporciona una plantilla integrada de clasificación y graduación con cuatro niveles de sensibilidad y cuatro categorías principales, que puede utilizar directamente. DataWorks permite editar la plantilla integrada o crear nuevas clasificaciones y graduaciones. Puede definir hasta 10 niveles de sensibilidad. Para las categorías, puede personalizar múltiples capas, subcategorías y los tipos de campos sensibles que contienen.

• Configure los niveles de sensibilidad en la página Rule Setting > Data classification grading.

  • La página de clasificación y graduación de datos muestra la plantilla integrada predeterminada. Puede hacer clic en el icono junto a la plantilla para modificar su nombre de plantilla, descripción y número de niveles de sensibilidad.

• Configure las categorías de datos en la página Rule Setting > Sensitive Data Detection.

  • Si utiliza Data Security Guard por primera vez, el panel de navegación izquierdo en la página de reglas de detección de datos muestra las categorías predeterminadas de la plantilla integrada de clasificación y graduación. Puede buscar una categoría por nombre o hacer clic en el icono junto a una categoría para realizar acciones como Add Sibling Category, Add Subcategory, Rename y Delete.

  • Si ya es usuario de Data Security Guard, puede crear categorías de datos en el panel de navegación izquierdo de la página de reglas de detección de datos. Puede crear un máximo de cuatro categorías.

Paso 2: Configurar una regla de detección de datos

Las reglas de detección de datos se configuran según los tipos de campos sensibles. Este tema utiliza el ejemplo de crear un nuevo tipo de campo sensible y configurar una regla de detección de datos para guiarlo a través del proceso de configuración. También puede configurar reglas de detección de datos basadas en tipos de campos sensibles integrados.

1. En la página de reglas de detección de datos, haga clic en +Sensitive Field Type en la esquina superior derecha para crear un tipo de campo sensible.

2. Configure la información básica del tipo de campo sensible.

   1. En la pestaña Basic Information, configure el tipo, la categoría y el nivel de sensibilidad del campo sensible.

      La siguiente tabla describe los parámetros.

      Parámetro	Descripción
      Tipo de campo sensible	El nombre personalizado del tipo de campo sensible, como Nombre, Número de identificación o Número de teléfono. El nombre debe ser único.
      Categoría	Seleccione la categoría a la que pertenece el tipo de campo sensible. Si las categorías existentes no cumplen con sus requisitos, vaya a la página Data classification grading para configurarlas. Para obtener más información, consulte Configure data classification and grading.
      Nivel de sensibilidad	Seleccione el nivel de sensibilidad para el tipo de campo sensible. Un número mayor indica un nivel de sensibilidad más alto. Si los niveles de sensibilidad existentes no cumplen con sus requisitos, vaya a la página Data classification grading para configurarlos. Para obtener más información, consulte Configure data classification and grading.

   2. Haga clic en Next Step.

3. Configure la regla de detección para el tipo de campo sensible.

   En la pestaña Rule Setting, configure la regla de detección de datos, especifique las condiciones de coincidencia y pruebe la precisión de la regla.

   Parámetro	Descripción
   Hit Rules	En la lista desplegable de la derecha, seleccione la condición de coincidencia para la regla de detección: Satisfy any rule: Esto activa la regla si se cumple alguna condición de Data Content Identification o Field Name Identification. Satisfy all rules: Esto activa la regla solo si se cumplen todas las condiciones tanto de Data Content Identification como de Field Name Identification. Nota La configuración de Hit Rules se aplica únicamente a las reglas de Data Content Identification y Field Name Identification.
   Data Content Identification	Identifica el contenido (valor) de los datos de un campo. Por ejemplo, si el campo name tiene el valor "Zhang San", la regla identifica "Zhang San". Nota La función de escaneo de contenido solo está disponible en DataWorks Professional Edition o superior. Si utiliza una edición inferior, actualice a Professional Edition o superior. Para obtener más información sobre las actualizaciones, consulte Select and purchase a DataWorks edition. Defina el contenido de la regla utilizando uno de los siguientes cuatro tipos de regla para hacer coincidir texto sensible: Regular Expression: Introduzca una expresión regular y proporcione datos de prueba para verificar su precisión. Built-in Detection Rule: Seleccione una regla de detección integrada y proporcione datos de prueba para verificar su precisión. Nota La Built-in Detection Rule solo está disponible en DataWorks Enterprise Edition. Sample Library: Seleccione una muestra de regla configurada y proporcione datos de prueba para verificar su precisión. Para obtener más información sobre cómo configurar muestras, consulte Identify data by using a sample library. Self-generated Model: Seleccione un modelo de regla personalizado y proporcione datos de prueba para verificar su precisión. Para obtener más información sobre cómo configurar modelos personalizados, consulte Identify data by using a custom model. Nota El tipo de regla Self-generated Model solo es compatible con el motor MaxCompute. La función Self-generated Model solo está disponible en DataWorks Enterprise Edition.
   Field Name Identification	Identifica el nombre de un campo. Por ejemplo, si el campo name tiene el valor "Zhang San", la regla identifica name. Introduzca los campos que se identificarán como datos sensibles. Varios campos se comparan mediante una relación OR. Los formatos de entrada para diferentes orígenes de datos son los siguientes: EMR, CDH y MaxCompute: project.table.column Hologres: instance_id.project.table.column Puede usar un asterisco (*) como comodín en cualquier parte del formato. Ejemplos: a.b.*: Indica que todos los campos de la tabla b del proyecto a se identificarán como datos sensibles. ab.c.salary: Indica que todos los campos de salario en tablas que comienzan con c dentro de proyectos que comienzan con ab se identifican como datos sensibles. cd.ef.sa*ry : Indica que en un proyecto que termina con cd, todos los campos que comienzan con sa y terminan con ry en una tabla que comienza con ef se identificarán como datos sensibles.
   Field Annotation Identification	Identifica el comentario de un campo. Por ejemplo, puede configurar "número de teléfono" e "información de contacto" como palabras clave de comentario para el tipo de campo sensible de número de teléfono. Cuando el sistema detecta un campo cuyo comentario contiene "información de contacto", el servicio identifica el campo como un número de teléfono. Introduzca los comentarios de los campos en el cuadro de texto. Los comentarios pueden tener hasta 100 caracteres de longitud y no tienen restricciones de caracteres. Puede agregar hasta 10 cuadros de texto.
   Field exclusion	Introduzca los campos que se excluirán en el cuadro de entrada. Los campos que coincidan con las reglas de exclusión de campos no serán coincidentes con esta regla de identificación. Puede hacer coincidir varios campos, y se evalúan según una relación OR. Los formatos de entrada para diferentes orígenes de datos son los siguientes: EMR, CDH y MaxCompute: project.table.column Hologres: instance_id.project.table.column Puede usar un asterisco (*) como comodín en cualquier parte del formato. Ejemplos: a.b.*: Indica que todos los campos de la tabla b del proyecto a se identificarán como datos sensibles. ab.c.salary: Indica que todos los campos de salario en tablas que comienzan con c dentro de proyectos que comienzan con ab se identifican como datos sensibles. cd.ef.sa*ry : Indica que en un proyecto que termina con cd, todos los campos que comienzan con sa y terminan con ry en una tabla que comienza con ef se identificarán como datos sensibles.
   Hit rate configuration	Esta configuración le permite personalizar la tasa de coincidencia. Especifica el porcentaje mínimo de datos no vacíos en un campo que deben coincidir con las condiciones de Data Content Identification para que se active la regla. Por ejemplo, 50%. El valor predeterminado es 50%. La tasa de coincidencia se calcula mediante la siguiente fórmula: 100% * (Número de entradas de datos coincidentes en el campo) / (Número total de entradas de datos en el campo). Nota La tasa de coincidencia se aplica únicamente a las reglas de Data Content Identification.

4. Publique la regla de detección de datos.

   Haga clic en Publish para publicar la regla de detección de datos actual. Una vez publicada una regla, puede utilizarla en tareas de detección para identificar los datos sensibles correspondientes.

Paso 3: Autorizar e iniciar una tarea de detección

Después de configurar las reglas de detección de datos, autorice e inicie una sensitive data detection task, which will then para identificar datos sensibles en su inquilino según estas reglas.

1. Autorice la tarea de detección de datos sensibles.

   La primera vez que inicie una tarea de detección de datos sensibles, haga clic en Authorize Now en la esquina superior izquierda de la página Sensitive Data Detection y siga las instrucciones en pantalla para otorgar permisos.

   Nota

   After the sensitive data detection task starts, puede hacer clic en Authorization Records en la esquina superior derecha de la página Sensitive Data Detection para ver los detalles de la autorización.

2. Inicie la tarea de detección de datos sensibles.

   1. Configure la tarea de detección de datos sensibles.

      Al configurar una tarea de detección de datos sensibles, debe especificar el tipo de tarea, el método de escaneo y el alcance. Puede configurar una tarea en tiempo real, una tarea programada o crear manualmente una nueva tarea de detección.

      1. Configure una tarea en tiempo real.

         La siguiente tabla describe los parámetros.

         Parámetro	Descripción
         Detection account	Especifique si desea utilizar una cuenta de Alibaba Cloud o un usuario RAM para muestrear y escanear datos. El alcance de los datos que se pueden muestrear varía según los permisos de la cuenta seleccionada. Nota Si utiliza un usuario RAM para la detección, el usuario RAM debe tener permisos en el proyecto MaxCompute.
         Real-time detection	Solo ODPS admite la detección en tiempo real. Cuando cambian los metadatos de ODPS, como cuando se agregan nuevas tablas o campos, o se modifican campos, Data Security Guard inicia automáticamente una tarea de detección para los metadatos modificados. Data Security Guard recupera información de cambios de metadatos en tiempo real. Si el cambio se debe a una nueva tabla o campo, es posible que aún no contenga datos. En este caso, el servicio utiliza únicamente metadatos para la identificación de datos sensibles.

      2. Configure una tarea programada. La siguiente tabla describe los parámetros.

         Parámetro	Descripción
         Execution	Debe habilitar la tarea manualmente.
         Scan and update policy for subsequent detection tasks	Están disponibles las siguientes dos opciones: Volver a escanear y actualizar resultados solo para reglas modificadas, datos afectados por estos cambios y datos sin resultados previos. Volver a escanear todos los datos y sobrescribir todos los resultados existentes. Puede seleccionar la casilla de verificación para evitar que el servicio sobrescriba los resultados corregidos manualmente.
         Detection account	Especifique si desea utilizar una Alibaba Cloud Account o una Sub-account para muestrear y escanear datos. El alcance de los datos que se pueden muestrear y escanear varía según los permisos de la cuenta seleccionada. Nota Si utiliza un usuario RAM para el muestreo y escaneo, el usuario RAM debe tener permisos en el proyecto MaxCompute.
         Content identification	Especifique si desea habilitar Content Identification y Metadata Identification. Las reglas correspondientes surten efecto solo cuando se selecciona esta opción. Nota Si no habilita Content Identification, Data Security Guard no muestrea ni escanea sus datos. Las reglas de identificación de contenido no surtirán efecto, pero las reglas de nombre de campo y comentario de campo permanecen activas.
         Sampling quantity	Especifique el número de entradas de datos para muestrear en la identificación de contenido. Se recomienda un valor mayor a 100. Este parámetro es obligatorio cuando Content Identification está habilitado.
         Scan frequency y Scan time	Defina el ciclo de escaneo para la tarea programada. Este parámetro es obligatorio solo cuando Task type está establecido en Scheduled Task. Puede establecer la Scan Frequency en Once a week o Once a day. Para escaneos semanales, puede seleccionar cualquier día de Monday to Friday. El rango horario es de 00:00 a 23:59.
         Scan scope	Configure el alcance de los datos para la tarea de detección de datos sensibles. Full Backup: Escanea todos los datos accesibles por la cuenta autorizada dentro del inquilino actual. Partial Data: Escanea datos de tablas dentro de proyectos especificados. Nota De forma predeterminada, el alcance incluye todos los proyectos en todos los motores de datos. Actualmente puede escanear tablas especificadas en proyectos de ODPS, EMR y Hologres. Los nombres de las tablas pueden tener hasta 100 caracteres de longitud. Se admiten todos los tipos de caracteres. Si deja este campo en blanco, se escanean todas las tablas. Se admite el comodín .. Por ejemplo, .name coincide con tablas que terminan con name, y private.* coincide con tablas que comienzan con private. Utilice comas (,) para separar múltiples nombres de tablas o campos. Si selecciona Partial Data, puede agregar múltiples alcances de escaneo de proyectos o bases de datos. El alcance final del escaneo es la unión de todos los alcances especificados. Debe seleccionar manualmente los proyectos desde el panel izquierdo. Después de seleccionar un proyecto, las tablas dentro de ese alcance se muestran a la derecha. Puede seleccionar tablas manualmente o seleccionarlas todas. De forma predeterminada, se incluyen todas las tablas en el alcance seleccionado. Se admite la búsqueda por palabras clave tanto para alcances de proyectos/bases de datos como para tablas. Para buscar una tabla, primero debe seleccionar un proyecto y luego realizar la búsqueda dentro de ese proyecto.

      3. Configure una tarea manual, lo cual crea una nueva tarea de detección. La siguiente tabla describe los parámetros.

         Parámetro	Descripción
         Scan and update policy for the detection task	Están disponibles las siguientes dos opciones: Volver a escanear y actualizar resultados solo para reglas modificadas, datos afectados por estos cambios y datos sin resultados previos. Volver a escanear todos los datos y sobrescribir todos los resultados existentes. Puede seleccionar la casilla de verificación para evitar que el servicio sobrescriba los resultados corregidos manualmente.
         Detection account	Especifique si desea utilizar una Alibaba Cloud Account o una Sub-account para muestrear y escanear datos. El alcance de los datos que se pueden muestrear y escanear varía según los permisos de la cuenta seleccionada. Nota Si utiliza un usuario RAM para el muestreo y escaneo, el usuario RAM debe tener permisos en el proyecto MaxCompute.
         Content identification	Especifique si desea habilitar Content Identification y Metadata Identification. Las reglas correspondientes surten efecto solo cuando se selecciona esta opción. Nota Si no habilita Content Identification, Data Security Guard no muestrea ni escanea sus datos. Las reglas de identificación de contenido no surtirán efecto, pero las reglas de nombre de campo y comentario de campo permanecen activas.
         Sampling quantity	Especifique el número de entradas de datos para muestrear en la identificación de contenido. Se recomienda un valor mayor a 100. Este parámetro es obligatorio cuando Content Identification está habilitado.
         Scan scope	Configure el alcance de los datos para la tarea de detección de datos sensibles. Full Backup: Escanea todos los datos accesibles por la cuenta autorizada dentro del inquilino actual. Partial Data: Escanea datos de tablas dentro de proyectos especificados. Nota De forma predeterminada, el alcance incluye todos los proyectos en todos los motores de datos. Actualmente puede escanear tablas especificadas en proyectos de ODPS, EMR y Hologres. Los nombres de las tablas pueden tener hasta 100 caracteres de longitud. Se admiten todos los tipos de caracteres. Si deja este campo en blanco, se escanean todas las tablas. Se admite el comodín .. Por ejemplo, .name coincide con tablas que terminan con name, y private.* coincide con tablas que comienzan con private. Utilice comas (,) para separar múltiples nombres de tablas o campos. Si selecciona Partial Data, puede agregar múltiples alcances de escaneo de proyectos o bases de datos. El alcance final del escaneo es la unión de todos los alcances especificados. Debe seleccionar manualmente los proyectos desde el panel izquierdo. Después de seleccionar un proyecto, las tablas dentro de ese alcance se muestran a la derecha. Puede seleccionar tablas manualmente o seleccionarlas todas. De forma predeterminada, se incluyen todas las tablas en el alcance seleccionado. Se admite la búsqueda por palabras clave tanto para alcances de proyectos/bases de datos como para tablas. Para buscar una tabla, primero debe seleccionar un proyecto y luego realizar la búsqueda dentro de ese proyecto.

   2. Haga clic en Enable para iniciar la tarea de escaneo.

      Una vez iniciada la tarea, el Node Status cambia de la siguiente manera:

      1. Tarea en tiempo real: El estado cambia a Enabling.

      2. Tarea programada: El estado cambia a Enabling. El servicio inicia la tarea de detección a la hora configurada.

      3. Nueva tarea de detección: Aparece una barra de progreso. El escaneo se completa cuando el progreso alcanza el 100%. El progreso se calcula de la siguiente manera: (Número de tablas escaneadas en la tarea actual / Número total de tablas a escanear en la tarea actual) × 100%.

      Nota

      1. Si modifica una regla de detección, los cambios surten efecto en el siguiente escaneo programado. Para activar la nueva regla inmediatamente, debe crear manualmente una nueva tarea de detección.

      2. Una vez completada una tarea de escaneo, el Node Status se actualiza a No Task.

Gestión de reglas de detección de datos

• Copiar una regla: Para copiar rápidamente una regla existente, haga clic en el icono . El nombre de la nueva regla incluye el sufijo -copy de forma predeterminada y su estado es Draft. Puede configurarla según sus necesidades.

• Editar una regla: Para modificar la información de una regla, haga clic en el icono .

  Nota

  • No es posible modificar la información básica de las reglas configuradas con base en tipos de campos sensibles integrados.

  • Después de modificar una regla, se borran los resultados de identificación de los campos que coincidían previamente con ella.

• Eliminar una regla: Si ya no necesita una regla, haga clic en el icono para eliminarla.

  Importante

  La eliminación de una regla de detección para un tipo de campo sensible tiene un impacto significativo. Revise detenidamente las siguientes consecuencias antes de confirmar la eliminación:

  • Los registros correspondientes a este tipo de campo sensible se eliminan de los resultados de detección. Para obtener más información, consulte View and manually correct sensitive data detection results.

  • La información de distribución de datos sensibles en Data Discovery deja de incluir estadísticas para este tipo de campo sensible. Para obtener más información, consulte Sensitive Data Overview.

  • El tipo de campo sensible se quita de cualquier regla de identificación de riesgos que lo referencie. Para obtener más información, consulte Manage risk identification rules.

• Publicar reglas en lote: Las reglas deben publicarse antes de poder utilizarse para identificar datos sensibles. Si cuenta con un gran número de reglas, puede publicarlas en lotes mediante la opción Batch Publish.

  1. En la página de reglas de detección de datos, haga clic en Batch Publish y seleccione las reglas que desea publicar.

     Nota

     Solo puede seleccionar reglas que se encuentren en estado Draft.

  2. Haga clic en Deploy. Una vez publicadas las reglas, su estado cambia a Yes.

     Nota

     Para cancelar la operación, haga clic en Cancel. Las reglas volverán al estado Draft.

• Invalidar reglas en lote: Al invalidar una regla, esta deja de utilizarse para detectar el tipo de campo sensible correspondiente. Los registros de dicho tipo se eliminan de módulos como Data Discovery y corrección manual. Antes de invalidar una regla, compruebe si su tipo de campo sensible está referenciado por alguna regla de enmascaramiento de datos o por Risk identification rules. De ser así, primero debe invalidar la regla de enmascaramiento de datos y quitar la referencia de Risk identification rules. Para obtener más información, consulte Create a data masking rule y Manage risk identification rules.

  1. En la página de reglas de detección de datos, haga clic en Batch Invalidate y seleccione las reglas que desea invalidar.

     Nota

     Solo puede seleccionar reglas que se encuentren en estado Yes.

  2. Haga clic en Batch Invalidate. Una vez invalidadas las reglas, su estado cambia a Draft.

     Nota

     Para cancelar la operación, haga clic en Cancel. Las reglas volverán al estado Yes.

Consulta de registros de ejecución de tareas

La página Sensitive Data Detection > Identify Tasks > Task Execution Records muestra las tareas completadas durante la última semana, pero no incluye las tareas en curso. Puede consultar detalles como Start time, End Time, Runtime, Task type, Owner y Data Scope.