DataWorks:Gestión del entorno de desarrollo personal

Funciones

Data Studio permite crear instancias de entorno de desarrollo personal a nivel de cuenta con conectividad de red al almacenamiento NAS y a repositorios Git. Puede clonar código, desarrollar y depurar código de Python y Notebook en línea, y confirmar su código en un espacio de trabajo de proyecto para su programación.

Una instancia de entorno de desarrollo personal:

• Admite los ecosistemas SQL, AI Notebook y Python. Permite ejecutar instrucciones SQL, scripts de Python y comandos de shell localmente, desarrollar tareas para Notebook development y depurar su código.

• Permite instalar extensiones para desarrollar las tareas correspondientes, como DataWorks Agent tasks based on third-party clients.

• Ofrece integración con Git para la gestión de código, lo que facilita clonar, enviar y administrar su código.

• Es compatible con OSS y NAS para simplificar la gestión y el acceso a los datos.

• Admite imágenes personalizadas de DataWorks, lo que le permite realizar diversas tareas de desarrollo basadas en las imágenes que cree.

Con estas funciones, Data Studio proporciona un entorno de desarrollo flexible que simplifica el procesamiento de datos, el análisis y el entrenamiento de modelos.

Facturación

Al crear una instancia de entorno de desarrollo personal, debe especificar un resource group y la cantidad de CU. Se le cobra por las CU consumidas por el resource group según el tiempo de ejecución de la instancia. Para obtener más información, consulte Serverless resource group billing.

• Cuando una instancia de entorno de desarrollo personal se encuentra en estado Running, los cargos de cómputo se facturan según el método de facturación del resource group. Si la instancia utiliza un resource group pay-as-you-go, los cargos se calculan con base en resource quota × instance runtime. Si la instancia utiliza un resource group subscription, consume la cuota disponible de dicho resource group.

• Si una instancia de entorno de desarrollo personal no está en uso, stop the instance oportunamente desde la página de gestión de instancias.

Notas de uso

• Límites del espacio de trabajo: Esta función solo está disponible en un espacio de trabajo donde Use Data Studio (New Version) esté habilitado.

• Límites de resource group: Solo se admiten serverless resource groups.

• Límites de cantidad: Cada miembro puede crear hasta 10 instancias de entorno de desarrollo personal en un espacio de trabajo.

• Límites de almacenamiento: Cada instancia de entorno de desarrollo personal ofrece 30 GiB de disco en la nube gratuitos (el almacenamiento integrado de la instancia). Este almacenamiento se recupera 15 días después de detener la instancia. Asegúrese de guardar sus archivos de código personal de manera oportuna.

• Control de acceso: Data Studio gestiona los permisos de las instancias de entorno de desarrollo personal según la identidad (administrador del tenant, administrador del espacio de trabajo o propietario de la instancia).

  • Administrador del tenant o administrador del espacio de trabajo

    • Puede consultar y gestionar todas las instancias de entorno de desarrollo personal del espacio de trabajo actual .

    • Solo puede utilizar las instancias de entorno de desarrollo personal de su propiedad.

  • Propietario de la instancia

    • Solo puede consultar, utilizar y gestionar las instancias de entorno de desarrollo personal de su propiedad .

      Las operaciones de gestión incluyen Change Configuration , Stop , Start , Delete , Create Image , Scheduled Shutdown y View Automatic Shutdown Policy .

• Controles de seguridad: Los administradores del tenant o los administradores de seguridad del tenant pueden usar la función personal development environment control en Security Center para configurar directivas de control para los entornos de desarrollo personal. Se pueden restringir las siguientes operaciones:

  • Descarga de archivos: Los administradores pueden especificar si se permiten las descargas de archivos desde directorios montados en instancias de entorno de desarrollo personal. Cuando esta opción está deshabilitada, el botón de descarga aparece atenuado.

  • Instalación de extensiones: Los administradores pueden especificar si se permite la instalación de extensiones. Cuando esta opción está deshabilitada, el botón de instalación aparece atenuado.

  • Uso de terminal: Los administradores pueden especificar si se permite el uso de la terminal. Cuando esta opción está deshabilitada, el botón de la terminal aparece atenuado.

Crear una instancia de entorno de desarrollo personal

1. Vaya a la página Workspaces en la consola de DataWorks. En la barra de navegación superior, seleccione la región deseada. Busque el espacio de trabajo correspondiente y elija Shortcuts > Data Studio en la columna Actions.

2. Haga clic en Personal development environment en la parte superior y seleccione una instancia de entorno de desarrollo personal existente o cree una nueva según sea necesario.

   Parámetro		Descripción
   Instance Name		Nombre de la instancia de entorno de desarrollo personal. Puede especificar un nombre personalizado.
   Instance Owner		De forma predeterminada, el usuario actual que crea el espacio de trabajo se establece como propietario de la instancia .
   Resource Details	Resource Group	Seleccione el resource group serverless para la instancia de entorno de desarrollo personal.
   	Resource Type	Puede configurar los tipos de recursos CPU y GPU.
   	Resource Quota	Seleccione la especificación de recursos para la instancia de entorno de desarrollo personal. La cuota de recursos de la especificación seleccionada no debe exceder las Maximum CUs configuradas para el entorno de desarrollo personal en el resource group. De lo contrario, no se podrá agregar la especificación. Para ajustar la cuota, póngase en contacto con su administrador para modificarla en la sección de gestión de cuotas de la página de detalles del resource group. Después de seleccionar una especificación, se muestra la siguiente información: Specification Name, CPU, Memory, Bandwidth y Resource Quota (la cantidad de CU deducidas del resource group para la especificación seleccionada). En comparación con las instancias tipo CPU, las instancias tipo GPU también muestran GPU Specification y GPU Memory. Puede asignar las Maximum CUs o Minimum CUs disponibles para la instancia de entorno de desarrollo personal actual en la quota management section del resource group serverless. Importante Preste atención a la información de Resource Quota. Cuando una instancia de entorno de desarrollo personal está en ejecución, si utiliza un resource group pay-as-you-go, los cargos de cómputo se calculan con base en resource quota × instance runtime. Si la instancia utiliza un resource group subscription, consume la cuota disponible de dicho resource group.
   Image		Seleccione una imagen proporcionada por el sistema o una imagen personalizada según sea necesario. Imágenes integradas del sistema: Para obtener más información, consulte System built-in images. Imágenes personalizadas: Además de las imágenes proporcionadas por el sistema, puede seleccionar una imagen personalizada que haya creado. Las imágenes personalizadas le permiten preinstalar paquetes de terceros específicos para satisfacer sus requisitos de desarrollo personalizados. Para obtener información sobre cómo crear una imagen personalizada, consulte Create a DataWorks image from a personal development environment.
   Storage Settings	System Disk	Cada instancia de entorno de desarrollo personal ofrece 30 GiB de disco en la nube gratuitos (el almacenamiento integrado de la instancia). Este almacenamiento se recupera 15 días después de detener la instancia. Asegúrese de guardar sus archivos de código personal de manera oportuna. La ruta predeterminada del almacenamiento integrado de una instancia de entorno de desarrollo personal es /mnt/workspace.
   	Datasets	Si necesita leer o escribir en el almacenamiento OSS o NAS dentro de un entorno de desarrollo personal, puede agregar datasets al entorno. Datasets: Seleccione en la lista desplegable un conjunto de datos de tipo de almacenamiento de archivos (OSS o NAS) creado en el espacio de trabajo actual. Tenga en cuenta lo siguiente: Al seleccionar un conjunto de datos tipo NAS, si la VPC del resource group actual de DataWorks no está conectada al punto de montaje NAS, ajuste la red VPC para garantizar la conectividad. Nota La red está conectada cuando la VPC asociada al resource group de DataWorks es la misma que la VPC asociada al punto de montaje NAS. Mount Path: La ruta de montaje predeterminada se basa en la configuración del conjunto de datos. Puede modificarla manualmente para el nodo actual. Advanced Settings: Al leer conjuntos de datos OSS o NAS para el desarrollo de nodos, puede configurar diferentes advanced settings para ajustar el método de lectura y el protocolo de montaje del conjunto de datos. Read Only: Cuando el modo de solo lectura está habilitado, las tareas que se ejecutan en el entorno de desarrollo personal solo pueden leer datos y no pueden escribir en OSS ni en NAS. Importante Notas sobre la eliminación de archivos en el almacenamiento de las instancias de entorno de desarrollo personal: Los archivos eliminados del espacio NAS montado en una instancia de entorno de desarrollo personal (ubicado de forma predeterminada en /mnt/data) no se mueven a la recycle bin en Data Studio. Si the recycle bin feature está habilitado en la consola de NAS, los archivos eliminados se mueven a la papelera de reciclaje del sistema de archivos. Los archivos eliminados del espacio OSS montado en una instancia de entorno de desarrollo personal (ubicado de forma predeterminada en /mnt/data) no se mueven a la recycle bin en Data Studio. Puede recuperar los datos habilitando la función versioning. Los archivos eliminados del almacenamiento integrado de una instancia de entorno de desarrollo personal (ubicado de forma predeterminada en /mnt/workspace) no se mueven a la papelera de reciclaje en Data Studio.
   Network Settings	VPC	Acceder a recursos de VPC (como RDS): Configure la Proprietary Network correspondiente aquí. Acceder a recursos de Internet: Deje este campo vacío. El entorno de desarrollo admite el acceso a Internet de forma predeterminada. Acceder tanto a recursos de VPC como de Internet: Después de configurar una Proprietary Network aquí, también debe configurar una Internet NAT Gateway para que la VPC acceda a Internet. Nota Para acceder a direcciones protegidas por control de acceso basado en lista de permitidos, también debe asociar una Proprietary Network que tenga capacidad de acceso a Internet.
   	Security Group	Seleccione un security group existente para asociarlo.
   	vSwitch	Opcional. Si no especifica un vSwitch, el sistema selecciona uno aleatoriamente de la VPC elegida.
   Access Configuration	Enable SSH	Una vez habilitado SSH, puede usarlo para conectarse directamente al entorno de desarrollo personal a través de la VPC seleccionada. Si utiliza una imagen personalizada, asegúrese de que sshd esté instalado en la imagen. Importante Para utilizar SSH, debe instalar SSH Server en el entorno de desarrollo personal. Para obtener más información, consulte Install and configure SSH Server.
   	SSH Public Key	La clave pública generada localmente. Para obtener más información, consulte Generate an SSH key pair.
   	SSH Access Method	Log on from VPC: Este método de acceso se admite de forma predeterminada. Puede acceder al entorno de desarrollo personal desde otras terminales dentro de la VPC, como instancias ECS. Log on from Internet: Seleccione esta opción para habilitar el acceso a Internet. También debe configurar un NAT Gateway y una EIP.
   	VPC Access Domain	Se crea automáticamente un nombre de dominio autoritativo integrado (Private Zone). Puede usar este nombre de dominio dentro de la VPC para acceder al servicio SSH u otros servicios personalizados de la instancia actual, evitando así tener que rastrear los cambios en las direcciones IP de la instancia. Tenga en cuenta que el nombre de dominio autoritativo integrado genera fees.
   	NAT Gateway	Este parámetro es obligatorio si necesita acceso a Internet. Seleccione un Internet NAT Gateway creado para la VPC actual.
   	EIP	Este parámetro es obligatorio si necesita acceso a Internet. Seleccione una EIP creada para el NAT gateway actual.
   Advanced Information	Instance RAM Role	Un rol RAM de instancia le permite asociar un rol con una instancia de entorno de desarrollo personal. Dentro de la instancia, puede acceder a otros servicios de Alibaba Cloud mediante credenciales temporales STS, las cuales se actualizan periódicamente. Esto garantiza la seguridad de su AccessKey y permite un control de acceso detallado a través de RAM. De forma predeterminada, se selecciona Dataworks Default Role. Para obtener más información sobre los roles, consulte Configure an instance RAM role for a personal development environment.

Gestionar instancias de entorno de desarrollo personal

Usar conjuntos de datos en un entorno de desarrollo personal

Los entornos de desarrollo personal admiten conjuntos de datos, lo que permite leer o escribir en el almacenamiento OSS o NAS durante la ejecución de nodos. Para obtener más información, consulte Use datasets in a personal development environment.

Referencias

• Puede crear una imagen personalizada a partir de una instancia de entorno de desarrollo personal y utilizarla durante el desarrollo de otros nodos. Para obtener más información sobre cómo crear y usar imágenes desde una instancia de entorno de desarrollo personal, consulte Create and use custom images.

• Para obtener instrucciones sobre cómo conectar un entorno de desarrollo personal a un repositorio Git para clonar, enviar y gestionar código, consulte Connect to a Git repository.

Preguntas frecuentes

P: La instancia no se inicia y muestra el error cu is not enough as max.

R: El resource group limita las CU máximas para los entornos de desarrollo personal. Vaya a la página de detalles del resource group y ajuste la cuota en la sección de gestión de cuotas.

P: ¿Cuál es la relación entre un entorno de desarrollo personal y los entornos de desarrollo y producción en un espacio de trabajo de modo estándar?

R: Un entorno de desarrollo personal y los entornos de desarrollo y producción en un espacio de trabajo de modo estándar tienen propósitos diferentes. Un entorno de desarrollo personal es una instancia basada en la nube a nivel de cuenta para codificar, depurar y probar. Los entornos de desarrollo y producción se utilizan para programar y ejecutar flujos de trabajo. Después de escribir y depurar el código en un entorno de desarrollo personal, envíelo al espacio de trabajo del proyecto mediante el proceso de despliegue para configurar las programaciones en el entorno de desarrollo y desplegarlo en el entorno de producción para su ejecución.

P: ¿Cómo despliego un flujo de trabajo desde un entorno de desarrollo personal al entorno de desarrollo para su programación?

R: Una vez completado el desarrollo y la depuración del código en el entorno de desarrollo personal, envíe el código al espacio de trabajo del proyecto. Luego, vaya a la página de desarrollo de datos en Data Studio, abra el nodo de flujo de trabajo correspondiente en el entorno de desarrollo, configure la programación y las dependencias, y despliegue el flujo de trabajo en el entorno de producción.

P: La lista desplegable en la parte superior del entorno de desarrollo personal está vacía y no puedo cambiar al entorno de desarrollo o de producción.

R: La lista desplegable en la parte superior del entorno de desarrollo personal se usa para seleccionar y gestionar instancias de entorno de desarrollo personal, no para cambiar al entorno de desarrollo o de producción. Si la lista desplegable está vacía, generalmente se debe a una de las siguientes razones:

• El espacio de trabajo actual no está asociado con un resource group serverless, o no se ha asignado cuota de CU para entornos de desarrollo personal en el resource group.

• El usuario actual no ha creado ninguna instancia de entorno de desarrollo personal. Haga clic en la lista desplegable para crear una instancia.

• El espacio de trabajo no tiene habilitado Data Studio. Los entornos de desarrollo personal solo están disponibles en Data Studio.