Puede utilizar instrucciones SQL para consultar y analizar rápidamente datos de orígenes como MaxCompute, EMR Hive y Hologres. Este tema describe cómo consultar orígenes de datos mediante instrucciones SQL.
DataWorks recomienda probar the new version of Data Analysis para acceder a las funciones más recientes y disfrutar de una mejor experiencia de usuario.
Orígenes de datos compatibles
La función de consulta SQL admite orígenes de datos que incluyen MaxCompute, Hologres, EMR, CDH, StarRocks, ClickHouse, SelectDB, Doris, AnalyticDB for MySQL 3.0, AnalyticDB for PostgreSQL, Tablestore, MySQL, PostgreSQL, Oracle y SQL Server.
Esta función solo es compatible con data sources that are added to a workspace.
Permisos del origen de datos
Alcance del origen de datos
Solo puede consultar datos de orígenes dentro de los espacios de trabajo para los cuales tiene permisos. Contacte a un administrador para add you to a workspace como analista de datos, diseñador de modelos, desarrollador, operador, administrador del espacio de trabajo o propietario del proyecto.
Permisos de acceso al origen de datos
El acceso al origen de datos admite los siguientes dos modos de identidad.
|
Modo de identidad de acceso |
Descripción |
Orígenes de datos compatibles |
Autorización |
|
Executor Identity |
La cuenta de Alibaba Cloud que ha iniciado sesión actualmente en DataWorks. |
MaxCompute y Hologres. |
Solicite al administrador del MaxCompute project o Hologres instance especificado que le otorgue permisos de acceso como miembro. |
|
Data Source Default Access Identity |
La identidad de acceso configurada al crear el origen de datos. |
Todos los orígenes de datos. |
Si su cuenta de inicio de sesión actual no es la identidad de acceso predeterminada del origen de datos, solicite a un usuario con el rol de administrador del espacio de trabajo que grant access to your current Alibaba Cloud account. |
Si el proyecto MaxCompute tiene habilitado el control de acceso basado en lista de permitidos, agregue required IP addresses a la lista de IP permitidas del proyecto MaxCompute.
Acceso a la función
Inicie sesión en Análisis de datos de DataWorks, cambie a la región objetivo y haga clic en Enter Data Analysis.
Si ve Switch to New DataAnalysis en la barra de navegación, significa que ha ingresado a la página anterior de Análisis de datos.
(No recomendado) Si ve Return to Legacy DataAnalysis en la barra de navegación, haga clic en ella para volver a la página anterior de Análisis de datos.
Paso 1: Agregar directorios
Puede agregar tablas de directorios recomendados por el sistema y de orígenes de datos autorizados a su directorio. Después de agregar un directorio, podrá ver rápidamente las tablas que contiene, consultar sus esquemas y generar consultas SQL.
-
En la página de análisis SQL, haga clic en el botón
situado a la derecha del cuadro de búsqueda, encima del directorio, para agregar uno nuevo.DataMap - Metadata: Metadatos de tablas recopilados en Data Map. Cada origen de datos o recurso de cómputo se puede agregar como conjunto de datos.
DataMap - Data Album: Data Collections que agrupan tablas de temas específicos en Data Map. Cada colección de datos se puede agregar como conjunto de datos.
My Favorites: Tablas que ha marcado como favoritas en Data Map.
My MaxCompute Tables: Todas las tablas de MaxCompute cuyo propietario es la cuenta que ha iniciado sesión actualmente.
Public Data: Public datasets proporcionados por MaxCompute, útiles para generar datos de prueba rápidamente.
NotaPuede agregar hasta 12 conjuntos de datos. Los conjuntos de datos que ya no necesite se pueden eliminar.
Paso 2: Crear una consulta SQL
Consulta basada en catálogo de datos
Después de agregar directorios de datos, los conjuntos de datos correspondientes aparecen en el árbol de directorios de la izquierda.
En el árbol de directorios de la izquierda, haga clic para expandir un conjunto de datos agregado (por ejemplo, mis tablas de MaxCompute).
Haga clic derecho sobre el nombre de la tabla que desea analizar y seleccione Generate SQL Statement en el menú contextual. Se generará automáticamente una instrucción SQL recomendada basada en la tabla como archivo temporal.
Modifique la instrucción SQL según sea necesario y haga clic en Save para guardar el archivo temporal en My Files.
Consulta basada en orígenes de datos
En el árbol de directorios de la izquierda, pase el cursor sobre My Files y haga clic en el botón
de la derecha para crear un archivo.-
Escriba una instrucción de consulta SQL en el nuevo archivo y guárdela en My Files.
NotaAl editar instrucciones SQL, DataWorks sugiere automáticamente tablas de MaxCompute para las cuales tiene permisos.
Consulta basada en SQL compartido
En el árbol de directorios de la izquierda, haga clic en Shared Files para ver los archivos SQL compartidos por otros usuarios. Haga clic en un archivo SQL y, en la página de detalles de la derecha, haga clic en Copy SQL.
Consulta basada en conjuntos de datos públicos
Después de agregar un conjunto de datos público al directorio, haga clic en él. En la barra superior de la página de detalles de la derecha, puede seleccionar un motor diferente para Generate SQL Statement. Puede usar conjuntos de datos públicos para pruebas.
Paso 3: Configurar el motor de consulta y ejecutarla
-
Haga clic en el botón
en la esquina superior derecha de la página de detalles SQL para configurar el motor de consulta SQL.Parámetro
Descripción
Workspace
El espacio de trabajo donde reside el motor de ejecución.
ImportanteAsegúrese de tener permisos de acceso al espacio de trabajo. De lo contrario, contacte al administrador del espacio de trabajo para add you as a workspace member.
Datasource Type
El tipo y nombre del motor de ejecución.
ImportanteSi no se especifica ningún proyecto concreto en la instrucción SQL, el motor de ejecución funciona como origen de datos predeterminado.
Data Source Name
Access Identity Mode
Seleccione el modo de acceso para las consultas SQL:
Executor Identity: Solo compatible con motores MaxCompute y Hologres. Se recomienda este modo cuando usted es miembro del proyecto MaxCompute o de la instancia Hologres y cuenta con permisos SELECT.
Data Source Default Access Identity: Si su cuenta actual difiere de la identidad de acceso predeterminada configurada al crear el origen de datos, grant your current account that identity.
-
Una vez escrita la instrucción SQL, puede ejecutar todo el script directamente o seleccionar una parte para ejecutarla parcialmente. Haga clic en el icono desplegable
junto al botón de ejecución para cambiar el modo de ejecución. Puede elegir distintos modos según el escenario.Antes de ejecutar una instrucción SQL de MaxCompute, se muestra el costo estimado. También puede hacer clic en en la barra de herramientas situada encima del archivo SQL para estimar el costo.
Modo de ejecución
Escenario
Condición de activación
Motores aplicables
Modo de consulta (LIMIT 10000)
Vista previa rápida de datos y verificación de lógica de consulta. Este modo resulta adecuado cuando solo desea ver una pequeña muestra de resultados para una exploración preliminar de datos.
El resultado de la consulta muestra ≤ 10,000 filas y ≤ 10 MB.
Sin límite
Modo de consulta (datos completos)
Obtención del conjunto de resultados completo para análisis o exportación. Cambie a este modo cuando necesite procesar y visualizar todos los datos.
El resultado de la consulta muestra > 10,000 filas o > 10 MB.
MaxCompute,Hologres,StarRocks,ClickHouse,MySQLModo de tabla temporal
Reutilización de resultados en consultas complejas de varios pasos. Utilice la salida de una consulta como entrada de la siguiente para mejorar la eficiencia de desarrollo y depuración.
El resultado de la consulta muestra ≤ 10,000 filas y ≤ 10 MB, y se escribe automáticamente en una tabla temporal.
Solo
MaxCompute -
Una vez ejecutada la instrucción SQL, podrá consultar el registro de ejecución, los resultados y la instrucción SQL correspondiente en la página de resultados de la consulta.
Puede hacer clic en los botones de la esquina superior derecha del área de resultados de la consulta para alternar el diseño de la página entre lado a lado y arriba-abajo.
Paso 4: Visualizar resultados de la consulta
En la barra de herramientas a la izquierda de los resultados de la consulta, haga clic en el botón para generar automáticamente gráficos visuales a partir de los resultados.
Puede hacer clic en el botón Copilot situado encima del gráfico para probar la función Copilot.
Paso 5: Exportar y compartir
Si necesita exportar datos a su computadora local y luego importarlos a otro origen de datos, le recomendamos utilizar Data Integration batch synchronization tasks para lograr una migración y sincronización de datos más eficiente y estable.
Los resultados de la consulta SQL se pueden exportar de las siguientes formas:
-
Archivo local: Descargue los resultados de la consulta a su computadora local en formato CSV, TXT o XLS. La información clave es la siguiente:
Elemento
Descripción
Límites de descarga
Solo se admiten los motores MaxCompute y EMR. Para obtener más información, consulte Download row count limits.
Si el proyecto MaxCompute tiene habilitado data download restrictions (la descarga de datos está prohibida), la descarga de datos a través de Análisis de datos fallará.
ImportanteSi esta opción no aparece, consulte FAQ para solucionar problemas.
Scope
Puede elegir descargar Only Data Displayed in Table o All Data.
Only Data Displayed in Table: Descarga únicamente los datos mostrados en la página actual, que son hasta
10000filas de forma predeterminada.All Data: Exporta todos los datos de resultados consultados dentro del límite de descarga.
Método de descarga
Se admiten dos métodos de descarga: Download After Approval y Download Without Approval.
Descarga tras aprobación: Puede configurar risk identification rules para identificar riesgos en las operaciones de descarga de datos. Al descargar datos, debe enviar una solicitud de aprobación de descarga para garantizar el cumplimiento y la seguridad de los datos.
NotaSolo DataWorks Enterprise Edition permite configurar y habilitar reglas de identificación de riesgos.
Descarga sin aprobación: De forma predeterminada, las descargas no requieren aprobación. No se necesita ninguna solicitud de permiso durante el proceso de descarga.
-
OSS: Exporte los resultados de la consulta en un formato específico (como CSV o Parquet) a Object Storage Service (OSS) de Alibaba Cloud. Este método es adecuado para archivar grandes volúmenes de datos o integrarlos con otros servicios en la nube.
Cuando utilice esta función por primera vez, deberá autorizar a DataWorks para acceder a sus recursos de OSS. En la lista desplegable File Path , haga clic en el enlace Authorize que aparece en el mensaje y siga las instrucciones para completar la autorización de RAM.
Parámetro
Descripción
File path
Haga clic en el botón de carpeta de la derecha para seleccionar el bucket y el directorio de OSS donde desea almacenar el archivo de resultados.
File name
Se genera automáticamente un nombre de archivo. También puede modificarlo manualmente.
File type
Seleccione el formato del archivo de exportación. Los formatos compatibles incluyen
csv,text,orcyparquet.Delimiter
Especifique el delimitador entre columnas. El delimitador predeterminado es la coma (
,).Encoding
Seleccione el formato de codificación del archivo, como
UTF-8oGBK.CU
Configure el número de unidades de cómputo (CU) para esta tarea de exportación. El valor predeterminado es 1 CU.
Resource group
Seleccione el resource group serverless para ejecutar esta tarea de exportación. Si no se selecciona ningún resource group, se utiliza de forma predeterminada el resource group de Data Integration configurado en Data Analysis > System Management.
Una vez completada la configuración, haga clic en OK para iniciar la tarea de exportación. Puede consultar el progreso de la exportación, el registro de ejecución y los detalles de la configuración en la página de ejecución de tareas. Cuando la tarea finalice correctamente, vaya a la consola de OSS para descargar el archivo exportado a su computadora local.
-
Tabla de MaxCompute: Puede exportar los resultados de la consulta directamente a una tabla de MaxCompute sin necesidad de descargar primero los datos a su computadora local. Puede establecer el ciclo de vida de la tabla según sea necesario.
Esta opción solo está disponible cuando consulta contenido del motor MaxCompute.
Hoja de cálculo: Puede guardar los resultados en una hoja de cálculo para realizar un data analysis más detallado. También puede share los últimos resultados del análisis con otras personas.
-
Más operaciones
Gestión de versiones de archivos SQL
En la página de edición de archivos SQL, también puede hacer clic en en la barra de herramientas para ver las diferencias entre el código guardado automáticamente y el guardado manualmente, y seleccionar la versión que desea conservar.
Búsqueda de código
Encima del árbol de directorios de la izquierda, haga clic en
para buscar código por palabra clave. Esta función solo está disponible en DataWorks Standard Edition y versiones superiores.
Ver historial de ejecución
Encima del árbol de directorios de la izquierda, haga clic en
para consultar el historial de ejecución de consultas SQL.
Preguntas frecuentes
¿Cómo otorgo acceso mediante la identidad de acceso predeterminada del origen de datos?
-
Vaya a Security Center.
Inicie sesión en la consola de DataWorks. En la región objetivo, haga clic en en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Security Center.
En el panel de navegación izquierdo, haga clic en para ir a la página de control de acceso de Análisis de datos.
Cambie al espacio de trabajo objetivo, busque el origen de datos deseado y haga clic en el botón de autorización de la derecha para otorgar acceso.
¿Error en la ejecución de la consulta SQL?
Si encuentra un error relacionado con This node can only run on exclusive resource groups durante la ejecución, configure el Resource Group for Scheduling y el Resource Group for Data Integration para el motor correspondiente en .
¿La visualización o descarga de resultados de la consulta está restringida?
Los resultados de la consulta SQL solo muestran un número limitado de filas. Siga estos pasos para ajustar el límite de visualización al máximo. También puede gestionar las capacidades de descarga. Para obtener más información, consulte Configure query result display and download limits.
-
Vaya a Security Center.
Inicie sesión en la consola de DataWorks. En la región objetivo, haga clic en en el panel de navegación izquierdo. En la página que aparece, haga clic en Go to Security Center.
En el panel de navegación izquierdo, haga clic en para ir a la página de control de acceso de Análisis de datos.
Cambie a la pestaña Query Result Control y ajuste las opciones Maximum rows per display, Maximum rows per copy, Maximum rows per download y Allow download.