Query and analyze data in notebooks - Data Management - Centro de documentación de Alibaba Cloud

Este tema explica cómo utilizar un DMS JupyterNotebook para consultar y analizar datos. Un notebook es un documento interactivo que integra código, texto y gráficos en una sola página, lo que facilita compartir su trabajo con otros usuarios.

Interfaz del notebook

La barra de herramientas ofrece las siguientes funciones:

: Guarda sus ediciones en el notebook.
: Inserta una celda encima de la actual.
: Elimina la celda seleccionada.
: Corta la celda seleccionada.
: Copia la celda seleccionada.
: Pega el contenido copiado en la celda seleccionada.
: Ejecuta la celda seleccionada.
: Detiene el kernel.
: Reinicia el kernel.
: Reinicia el kernel y vuelve a ejecutar todo el notebook.
: Cambia el tipo de celda entre Code, SQL, Markdown y Raw.
: Abre la interfaz de chat de Copilot.

Funcionalidades de DMS Jupyter Notebook

DMS Jupyter Notebook es compatible con Jupyter Notebook de código abierto. También ofrece capacidades mejoradas de consulta SQL y visualización.

IPython kernel

Su funcionamiento es casi idéntico al de Jupyter Notebook de código abierto. Puede usar pip para instalar paquetes de extensión y acceder a internet.

Consulte datos de tablas en un notebook mediante la sintaxis de Spark. A continuación se muestran ejemplos de la sintaxis:
- Sintaxis 1:
```
df = spark.sql("select * from customer limit 10").show();
```
- Sintaxis 2:
```
%%spark_sql 
select * from customer limit 10;
```
- Sintaxis 3:
  
  En una celda, seleccione SQL > Spark SQL y luego introduzca su instrucción SQL.
```
CREATE TABLE IF NOT EXISTS 'default'.'select_2' AS SELECT 2;
```
  Nota
  De forma predeterminada, una celda de Spark SQL muestra un máximo de 3,000 filas. Para modificar este límite, cambie la variable de entorno DMS_SPARK_SQL_DEFAULT_LIMIT al introducir el siguiente código en una celda:
  os.environ['DMS_SPARK_SQL_DEFAULT_LIMIT'] = '3000';
En la barra de herramientas del notebook, cambie el tipo de celda de Code a SQL.

La sintaxis utilizada en las celdas SQL es casi idéntica a la del almacén de datos lógico. Admite consultas entre bases de datos y análisis en tiempo real. Los requisitos de permisos coinciden con los permisos detallados de DMS.
Haga referencia a variables en celdas SQL y Python (con el formato ${variable_name}), personalice los nombres de las variables y consulte sus tipos. En la siguiente sección se describe cómo definir, generar y referenciar variables en un notebook.
- Definir y referenciar variables
  
  Puede hacer referencia a una variable de IPython en SQL mediante ${var}, donde var es el nombre de la variable en IPython.
```
target_table = 'archieve_partitions'
SELECT
    *
FROM
    `datafactory`.`${target_table}`;
```
- Generar variables
  
  En una celda de IPython, puede usar directamente el nombre de la variable, que aparece en la esquina inferior izquierda del conjunto de resultados. El tipo de la variable es pandas.core.frame.DataFrame. Para cambiar el nombre de la variable, haga clic en el nombre e introduzca uno nuevo.
Los conjuntos de resultados SQL se pueden visualizar con un solo clic. Se admiten vistas de tabla y de gráfico.

En la vista de gráfico, el panel izquierdo corresponde al panel de configuración. Puede establecer el Chart type (como un gráfico de líneas), los campos del X-axis y del Y-axis, así como las condiciones de grouping y filter. La parte superior del panel incluye los botones Try another y Download image.

PySpark kernel

AnalyticDB Spark es compatible de forma predeterminada. También se admite Spark de código abierto.

Spark Magic proporciona el comando mágico %%help para listar rápidamente los comandos compatibles.

Nota

Spark Magic es una extensión de Jupyter Notebook.

AnalyticDB Spark

Después de purchase an AnalyticDB cluster (Data Lakehouse Edition), enable and purchase a resource group y create a database account, puede usar los siguientes comandos:

Comando	Descripción
`%%info`	Verifica o soluciona problemas de la configuración de AnalyticDB Spark.
`%%sql`	Envía una instrucción SQL a AnalyticDB Spark.
`%%sql`	Ejecuta operaciones DDL con la sintaxis de lectura y escritura en C-Store. Para más información, consulte Read from and write to internal tables.
`%%spark`	Envía código Python a AnalyticDB Spark.

Nota

Una sesión de AnalyticDB Spark permanece activa durante 20 minutos. Transcurrido este periodo, la sesión expira y se elimina. Puede reiniciar el kernel para crear una nueva sesión.

Carga y descarga de archivos

Utilice ossutil para cargar y descargar los conjuntos de datos que necesite. Para obtener información sobre cómo configurar ossutil, consulte Configure ossutil.

Procedimiento

Cree un notebook.

En la pestaña Files , haga clic en y seleccione Notebook.
En el editor de celdas, escriba contenido en formato SQL, Code, Markdown o Raw.
Use Copilot to generate SQL.
Tras comprobar que el SQL generado es correcto, ejecute la instrucción y consulte el conjunto de resultados.
1. En el área SQL generada por Copilot, haga clic en Execute Query.
  
  La instrucción SQL se inserta automáticamente en el documento de la izquierda. El resultado de la consulta también aparece debajo de la instrucción SQL.
  - Visualización en tabla
    
    La consulta devuelve siete filas de la tabla ORDERS, incluidas O_ORDERKEY (ID de pedido), O_CUSTKEY (ID de cliente) y O_ORDERSTATUS (estado del pedido). El estado del pedido para todos los registros es O.
  - Visualización en gráfico
    
    En el panel de configuración de visualización de datos, establezca el tipo de gráfico como line chart, seleccione O_ORDERDATE para el campo del eje X y [Total] O_ORDERKEY para el campo del eje Y. Esto genera un gráfico de líneas de tendencia de O_ORDERKEY agrupado por fecha de pedido.
Una vez que la instrucción SQL se ejecuta correctamente, puede referenciar su conjunto de resultados como una variable en otras celdas SQL. También puede cambiar el nombre de la variable.

Por ejemplo, el resultado de la consulta SQL crea automáticamente una variable llamada SQL_949364. En una celda de código Python, ejecute SQL_RES=SQL_949364 para asignar el resultado a una variable personalizada llamada SQL_RES. El valor devuelto es un DataFrame de pandas.
Prediga tendencias de datos.
1. Instale los paquetes de aprendizaje automático de Python al ejecutar el siguiente código en una celda.
```
pip install pandas numpy matplotlib scikit-Learn
```
2. Una vez instalados los paquetes, introduzca código Python para predecir datos y visualizar los resultados.

Siguientes pasos

Publish an AI agent

Preguntas frecuentes

P: ¿Quién puede ver los documentos de notebook?

R: Solo los miembros del mismo espacio de trabajo y tenant pueden verlos. Si el usuario objetivo no pertenece al tenant actual, agréguelo al mismo tenant que el creador del espacio de trabajo y luego añádalo como miembro del espacio de trabajo.