Para crear una tarea de etiquetado, primero debe preparar un conjunto de datos. En este tema se explica cómo crear conjuntos de datos para el etiquetado y los formatos de datos obligatorios.
Descripción general
Antes de etiquetar datos en iTAG, cree un conjunto de datos a partir de los archivos que desea etiquetar. PAI admite dos tipos de plantillas para las tareas de etiquetado. La preparación de los datos y la creación del conjunto de datos varían según la plantilla:
-
Plantilla común
Las plantillas comunes admiten cuatro tipos de datos: imagen, texto, video y audio. Los pasos y los requisitos de formato se describen en Create a text dataset y Create an image, video, or audio dataset.
-
Plantilla personalizada
Las plantillas personalizadas permiten etiquetar varios tipos de datos, como imágenes y texto, en una sola tarea. Los pasos y los requisitos de formato se describen en Create a custom dataset.
Crear un conjunto de datos de texto
|
Elemento
|
Método 1: Desde servicio en la nube
|
Método 2: Carga local
|
|
Procedimiento
|
-
Cree un archivo local .manifest o .txt con el formato descrito a continuación.
-
Cargue el archivo en OSS. Upload files.
-
Cree un conjunto de datos desde un servicio en la nube. Create a dataset: From an Alibaba Cloud cloud service.
|
-
Cree un archivo local .csv o .xlsx con el formato descrito a continuación.
-
Vaya a iTAG.
-
Inicie sesión en la PAI console.
-
En el panel de navegación izquierdo, haga clic en Workspaces. En la página Workspaces, haga clic en el nombre del workspace deseado.
-
En el panel de navegación izquierdo, seleccione Data Preparation>iTAG.
-
En la página iTAG, haga clic en Go to Task Center o en Go to Management Page.
-
En la pestaña Data Management, haga clic en Create Original Dataset.
-
En la página Create Original Dataset, configure los siguientes parámetros:
-
En Import Data, seleccione Local Upload.
-
En Import Format, seleccione File.
-
Configure OSS Bucket y File Path in OSS.
-
Haga clic en Upload file y seleccione el archivo .csv o .xlsx creado.
-
Haga clic en Create.
|
|
Extensión de archivo
|
Un archivo .manifest o .txt.
|
Un archivo .csv o .xlsx.
|
|
Formato de archivo
|
{"data":{"source":"text sample 1"}}
{"data":{"source":"text sample 2"}}
{"data":{"source":"text sample 3"}}
El parámetro source especifica el contenido de la muestra por etiquetar. Reemplace el valor de source con su contenido de texto.
|
Una columna del archivo .csv o .xlsx contiene el texto por etiquetar.
|
|
Ejemplo de archivo
|
textDemo1.manifest
|
textDemo2.csv
|
Crear un conjunto de datos de imágenes, video o audio
El siguiente ejemplo utiliza imágenes. El mismo procedimiento aplica a archivos de video y audio.
|
Elemento
|
Método 1: Escanear carpeta
|
Método 2: Carga local
|
|
Procedimiento
|
-
Cargue los archivos de imagen en un bucket de OSS para generar sus URL. Upload files.
-
Cree un conjunto de datos al escanear una carpeta; esto genera automáticamente un archivo .manifest. Create and manage datasets.
|
-
Cree una carpeta local que contenga las imágenes.
-
Vaya a iTAG.
-
Inicie sesión en la PAI console.
-
En el panel de navegación izquierdo, haga clic en Workspaces. En la página Workspaces, haga clic en el nombre del workspace deseado.
-
En el panel de navegación izquierdo, seleccione Data Preparation>iTAG.
-
En la página iTAG, haga clic en Go to Task Center o en Go to Management Page.
-
En la pestaña Data Management, haga clic en Create Original Dataset. En el panel Create Original Dataset, configure los siguientes parámetros:
-
En Import Data, seleccione Local Upload.
-
En Import Format, seleccione Folder.
-
Configure OSS bucket y File Path in OSS.
-
Haga clic en Upload Folder y cargue la carpeta local.
-
Haga clic en Create.
|
|
Formato de archivo
|
{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg"}}
{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg"}}
{"data":{"source":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg"}}
El parámetro source especifica la muestra por anotar. Establezca el valor de source como la URL de OSS de la muestra.
|
|
Ejemplo de archivo
|
|
Crear un conjunto de datos personalizado
|
Elemento
|
Desde servicio en la nube
|
|
Procedimiento
|
-
Cree un archivo local .manifest o .txt con el formato descrito a continuación.
-
Cargue el archivo en OSS. Upload files.
-
Cree un conjunto de datos desde un servicio en la nube. Create and manage datasets.
|
|
Extensión de archivo
|
Un archivo .manifest o .txt.
|
|
Formato de archivo
|
{"data":{"picture_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/1.jpg","text":"Jack Ma and 17 other founders established Alibaba Group in a Hangzhou apartment. The group's first website was Alibaba.com, an English-language global wholesale marketplace."}}
{"data":{"picture_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/10.jpg","text":"Alibaba Group held the first West Lake Summit, bringing together business and thought leaders from the internet industry to discuss key topics."}}
{"data":{"picture_url":"oss://****.oss-cn-hangzhou.aliyuncs.com/iTAG/pic/11.jpg","text":"Alibaba Group raised USD 82 million from several top-tier investment firms, which was the largest private equity financing in China's internet industry at the time."}}
El objeto "data" de cada línea representa un elemento de datos por etiquetar. El objeto puede contener varios pares clave-valor para distintos tipos de datos, como una imagen y texto.
Por ejemplo, la siguiente línea define un elemento de datos con una imagen almacenada en oss://****.oss url 01 y el texto text sample1. {"data":{"picture_url":"oss://****.oss url 01","text":"text sample1"}}
|
|
Ejemplo de archivo
|
multiModal.manifest
|