Para usar instâncias como MaxCompute e Hologres no desenvolvimento de dados com o DataWorks, associe-as previamente como recursos de computação. Em seguida, crie e gerencie esses recursos para dar suporte ao desenvolvimento e ao agendamento de tarefas.
Relação entre recursos de computação e fontes de dados
O DataWorks supports various compute resources. Após associar um recurso de computação, desenvolva tarefas complexas de processamento de dados e agendamento periódico no Data Studio. Ao associar a maioria dos recursos de computação ao DataWorks, o sistema cria automaticamente uma data source com o mesmo nome. Use essa fonte de dados no módulo Data Integration para tarefas de sincronização. As diferenças entre um mecanismo de computação e uma fonte de dados são as seguintes:
Um recurso de computação é uma instância de mecanismo de computação que executa tarefas de processamento e análise de dados.
Uma data source conecta-se a serviços de armazenamento para armazenar e gerenciar dados.
Ao executar transformações ETL de dados por meio de nós SQL, como converter uma coluna JSON de uma tabela do AnalyticDB for MySQL em uma nova tabela, associe também o mecanismo de computação correspondente. Os nós SQL no Data Studio exigem um mecanismo de computação para executar instruções SQL, mesmo que você use apenas funcionalidades de transformação de dados.
Recursos de computação compatíveis
O DataWorks oferece suporte aos seguintes recursos de computação para desenvolvimento de dados.
|
Categoria |
Tipo de recurso |
Guia de associação |
Data Studio (nova versão) |
Data Studio (versão legada) |
|
Computação offline |
|
|
||
|
|
|
|||
|
Serverless Ray |
|
|
||
|
Consulta em tempo real |
|
|
||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
|
|
|||
|
Computação em tempo real |
|
|
||
|
Pesquisa multimodal |
|
|
||
|
Gerenciamento de cluster |
|
|
||
|
|
|
Ao associar um recurso de computação MaxCompute, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, AnalyticDB for Spark, ClickHouse, Hologres, Lindorm, EMR Serverless StarRocks ou OpenSearch, o sistema cria automaticamente uma fonte de dados com o mesmo nome no workspace atual.
Descrição de permissões
Apenas membros do workspace com a função de operador ou administrador do workspace, ou ainda membros com a política de permissões AliyunDataWorksFullAccess ou AdministratorAccess, podem criar recursos de computação. Para mais informações, consulte Manage permissions on workspace-level services e Grant permissions to a RAM user.
Além das permissões mencionadas, alguns recursos de computação podem exigir permissões adicionais durante a criação. Siga as instruções na tela para conceder o acesso necessário.
Associar um recurso de computação
Associe um recurso de computação pelo ponto de entrada correspondente, dependendo se o workspace tem a opção Use Data Studio (New Version) ativada.
Associar um recurso de computação usando o Data Studio (nova versão)
Faça login no console do DataWorks, mude para a região desejada e clique em no painel de navegação à esquerda. Selecione o workspace desejado na lista suspensa e clique em Go to Management Center.
-
No painel de navegação à esquerda, clique em Computing Resources para acessar a página de lista de recursos de computação. Consulte a documentação correspondente ao tipo de recurso de computação que deseja associar.
Associar um recurso de computação sem o Data Studio (nova versão)
-
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
-
No painel de navegação à esquerda, clique no ícone
para acessar a página de lista de Computing Resources. Consulte a documentação correspondente ao tipo de recurso de computação que deseja associar.-
Gerenciamento de recursos de computação: Clique no botão Create Computing Resource no canto superior direito para criar um recurso de computação.
-
Gerenciamento de cluster: Acesse a página de lista de Computing Resources e clique no botão Create Cluster no canto superior direito para criar um mecanismo de cluster.
Gerenciamento de cluster
Versão/tipo de cluster compatível
Documentação de associação de cluster
Associar um cluster CDH/CDP
O DataWorks disponibiliza as versões CDH5.16.2, CDH6.1.1, CDH6.2.1, CDH6.3.2 e CDP7.1.7 para seleção direta. As versões dos componentes incluídas nessas versões de cluster (ou seja, a versão de cada componente nas cluster connection information) são fixas. Caso essas versões não atendam aos seus requisitos de negócio, selecione Custom Version.
Associar um cluster EMR
Tipos de cluster EMR compatíveis: clusters DataLake cluster (new data lake): EMR on ECS, Custom cluster: EMR on ECS, Hadoop cluster (legacy data lake): EMR on ECS, Spark cluster: EMR on ACK e EMR Serverless Spark.
Importante-
O DataWorks oferece suporte às seguintes versões EMR de clusters Hadoop (data lake legado):
EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1, EMR-5.4.3
-
Clusters Hadoop (data lake legado) não são mais recomendados. Migre para clusters DataLake o quanto antes. Para mais informações, consulte Migrate Hadoop clusters to DataLake clusters.
-
-
Desassociar um recurso de computação
Tenha cautela ao desassociar um recurso de computação. A desassociação também exclui a fonte de dados com o mesmo nome, o que pode afetar tarefas que referenciam esse recurso ou fonte de dados em módulos como Data Integration, Operation Center, Data Analysis, APIs do Data Service e Data Quality. Antes de prosseguir, leia atentamente os avisos na tela e migre todas as tarefas do recurso de computação atual para outro recurso.
Na página de recursos de computação, localize o recurso desejado e clique em Disassociate para removê-lo do workspace atual.
Apêndice: Descrição do ambiente de execução de tarefas
Em um workspace no modo padrão, um recurso de computação possui dois conjuntos de configurações: um para o ambiente de desenvolvimento e outro para o ambiente de produção. Cada ambiente pode usar um banco de dados ou instância diferente. O sistema direciona automaticamente o acesso ao recurso de computação correto com base no ambiente de execução, isolando o desenvolvimento da produção. Por exemplo, uma tarefa de sincronização em lote no ambiente de desenvolvimento acessa o banco de dados de desenvolvimento, enquanto a mesma tarefa em produção acessa o banco de dados de produção.
Um workspace no modo básico possui apenas um ambiente e não permite isolar o desenvolvimento da produção. Para mais informações sobre os modos de workspace, consulte Workspace mode differences.
Ao atualizar do modo básico para o modo padrão (workspaces com a opção Use Data Studio (new version) ativada não oferecem suporte a essa atualização), o recurso de computação único original divide-se em dois recursos isolados: um para o ambiente de produção e outro para o ambiente de desenvolvimento. Para mais detalhes, consulte Upgrade a workspace mode.
