O AutoML é um service de aprimoramento de machine learning do PAI que integra diversos algoritmos e recursos de computação distribuída. Crie um experimento para ajustar hiperparâmetros do modelo e melhorar a eficiência e o desempenho do machine learning sem escrever código.
Informações básicas
Mecanismo de funcionamento do AutoML:
Um experimento gera automaticamente combinações de hiperparâmetros com base na configuração do algoritmo. Cada combinação corresponde a um Trial. Cada Trial pode corresponder a um job do DLC ou a um ou mais jobs do MaxCompute, dependendo da configuração de execução do experimento. O experimento agenda e executa vários Trials, compara os resultados e encontra a combinação ideal de hiperparâmetros. Para obter mais informações sobre o mecanismo de funcionamento, consulte @xref node="4555799" root="16768" baseUrl="t2531638_v1_0_0.xdita" How AutoML works @/xref .
Pré-requisitos
Antes de usar o AutoML pela primeira vez, @xref node="4555802" root="16768" baseUrl="t2531638_v1_0_0.xdita" grant the required AutoML permissions @/xref .
Um @xref node="3186958" root="16768" baseUrl="t2531638_v1_0_0.xdita" workspace is created @/xref .
-
Para criar um job do DLC, conclua as seguintes preparações:
@xref node="2325994" root="16768" baseUrl="t2531638_v1_0_0.xdita" Grant the required DLC permissions @/xref .
@xref node="2787674" root="16768" baseUrl="t2531638_v1_0_0.xdita" Prepare a public or dedicated resource group for general computing @/xref ou @xref node="4212990" root="16768" baseUrl="t2531638_v1_0_0.xdita" prepare a dedicated resource group for Lingjun resources (Lingjun Intelligent Computing) @/xref .
Para criar um job do MaxCompute, @xref node="3424281" root="16768" baseUrl="t2531638_v2_1_0.xdita" prepare MaxCompute resources @/xref e associe-os ao workspace.
Procedimento
-
Acesse a página do AutoML.
Na página de lista de experimentos, clique em @conref key="paiNew\u0045xperiment" project="pai-app" @/conref .
Na página de criação de experimento, configure os seguintes parâmetros.
Clique em @conref key="pai-console-dlc-form-submit" project="pai-console-dlc-v2" @/conref .
O experimento aparecerá na lista de experimentos.
Informações básicas
|
Parâmetro |
Descrição |
|
Name |
Configure o nome do experimento conforme a instrução na tela. |
|
Description |
Breve descrição do experimento para diferenciá-lo de outros. |
|
Visibility |
Visibilidade do experimento. Valores válidos: @conref key="model-visibility-to-me" project="pai-biz-components" @/conref : visível apenas para você e administradores no workspace. @conref key="pai-image-public-workspace" project="pai-biz-components" @/conref : visível para todos os usuários no workspace. |
Configurações de execução
Job Type define o ambiente de execução dos Trials. Selecione @conref key="resource-all-dlc" project="pai-console-workspace" @/conref ou @conref key="MaxCompute" project="pai-console-quick-start" @/conref .
@conref key="resource-all-dlc" project="pai-console-workspace" @/conref : executa jobs do DLC para ajuste de hiperparâmetros. Para obter mais informações sobre jobs do DLC, consulte @xref node="2767160" root="16768" baseUrl="t2531638_v1_0_0.xdita" Create a training job @/xref .
@conref key="resource-dep-MaxCompute" project="pai-console-workspace" @/conref : executa comandos SQL ou comandos PAI de componentes de algoritmo do Designer em recursos de computação do MaxCompute para ajuste de hiperparâmetros. Para obter mais informações sobre os componentes de algoritmo do Designer e os comandos PAI compatíveis com cada componente, consulte @xref node="3907645" root="16768" baseUrl="t2531638_v1_0_0.xdita" Overview of Designer components @/xref .
@tabs
DLC
|
Parâmetro |
Descrição |
|
Selecione um grupo de recursos público ou um grupo de recursos dedicado adquirido. Para obter mais informações sobre como preparar um grupo de recursos, consulte Create a resource group and purchase general computing resources e Create a resource quota. |
|
|
Tipo de framework. Valores válidos: Tensorflow, PyTorch. |
|
|
Configure este parâmetro para o dataset preparado. |
|
|
Local de armazenamento do arquivo de código do job (informações do repositório de código). Configure este parâmetro para a Code configuration preparada. O DLC baixa o código para o diretório de trabalho especificado; portanto, é necessário ter acesso ao repositório de código. |
|
|
Imagem de runtime para nós worker. Os seguintes tipos de imagem de runtime são compatíveis:
|
|
|
Selecione o tipo de instância necessário para executar o job. Os preços das instâncias variam conforme a especificação. Para detalhes de faturamento, consulte Billing for DLC. |
|
|
Número de nós de computação usados no job do DLC. Se configurar vários nós, cada nó será faturado separadamente, em vez de compartilhar o mesmo tipo de instância. Ao selecionar nós, considere o custo individual e equilibre custo e desempenho. |
|
|
Quando estiver definido como um grupo de recursos dedicado adquirido, configure esses parâmetros com base nas especificações de recursos adquiridas. |
|
|
Use as configurações avançadas para melhorar a flexibilidade do treinamento ou atender a cenários específicos. Quando o PyTorch for selecionado como framework, você poderá configure advanced settings. |
|
|
Comando inicial para cada nó. Configure variáveis de hiperparâmetros
Neste exemplo, |
|
|
Hyperparameter |
Com base nas variáveis de hiperparâmetros configuradas no comando inicial, a lista de hiperparâmetros é carregada automaticamente. Configure o tipo de restrição e o espaço de busca para cada hiperparâmetro:
|
MaxCompute
@/tabs
Configuração do Trial
|
Parâmetro |
Descrição |
|
Metric Type |
Tipo de métrica usada para avaliar um Trial. Valores válidos:
|
|
Method |
Durante a execução do job, várias métricas intermediárias são geradas. O método determina a métrica final. Valores válidos:
|
|
Metric Weight |
Quando múltiplas métricas são consideradas, configure o nome e o peso da métrica. O sistema usa a soma ponderada como a métrica de avaliação final para comparação.
|
|
Metric Source |
Origem da métrica:
|
|
optimization direction |
Direção de otimização para avaliar os resultados do Trial. Valores válidos:
|
|
Model storage path |
Caminho para armazenar o modelo. O caminho deve conter |
Configurações de busca
|
Parâmetro |
Descrição |
|
Search Algorithm |
Algoritmo automatizado de machine learning que encontra melhores combinações de hiperparâmetros para o próximo Trial com base no espaço de busca de hiperparâmetros e nos resultados e métricas de desempenho de Trials anteriores. Tipos de algoritmos compatíveis:
Para obter mais informações sobre os algoritmos, consulte Supported search algorithms. |
|
Maximum Trials |
Número máximo de Trials que o experimento pode executar. |
|
Maximum Concurrent Trials |
Número máximo de Trials que o experimento pode executar em paralelo. |
|
Enable EarlyStop |
Ao ativar o EarlyStop, se um Trial detectar que o resultado é significativamente ruim ao avaliar uma combinação específica de hiperparâmetros, o processo de avaliação desse Trial poderá ser encerrado antecipadamente, sem concluir a avaliação completa. |
|
Start step |
Este parâmetro está disponível apenas quando o EarlyStop está ativado. Especifica o número mínimo de avaliações que um Trial deve concluir antes que a parada antecipada possa ser acionada. |
Próximos passos
Consulte @xref node="4555806" root="16768" baseUrl="t2531638_v2_1_0.xdita" Experiment details @/xref a qualquer momento para monitorar o progresso do experimento. Ao visualizar os resultados de execução de cada Trial, é possível obter a combinação ideal de hiperparâmetros.
Gerencie seus experimentos conforme descrito em @xref node="4555808" root="16768" baseUrl="t2531638_v1_0_0.xdita" Manage experiments @/xref .
Apêndice: Descrição de referência
A seguir estão exemplos de configuração para ajuste de hiperparâmetros de jobs do MaxCompute:
Componentes do Designer usados: @xref node="2413864" root="16768" baseUrl="t2531638_v1_0_0.xdita" K-means clustering @/xref e @xref node="3073275" root="16768" baseUrl="t2531638_v1_0_0.xdita" Clustering model evaluation @/xref .
Os comandos são configurados da seguinte forma. cmd1 e cmd2 correspondem aos comandos dos dois componentes, organizados em ordem. Para o fluxo de trabalho específico, consulte @xref node="4578174" root="16768" baseUrl="t2531638_v1_0_0.xdita" MaxCompute k-means clustering @/xref .
cmd1
@id="7fndkw"
pai -name kmeans
-project algo_public
-DinputTableName=pai_kmeans_test_input
-DselectedColNames=f0,f1
-DappendColNames=f0,f1
-DcenterCount=${centerCount}
-Dloop=10
-Daccuracy=0.01
-DdistanceType=${distanceType}
-DinitCenterMethod=random
-Dseed=1
-DmodelName=pai_kmeans_test_output_model_${exp_id}_${trial_id}
-DidxTableName=pai_kmeans_test_output_idx_${exp_id}_${trial_id}
-DclusterCountTableName=pai_kmeans_test_output_couter_${exp_id}_${trial_id}
-DcenterTableName=pai_kmeans_test_output_center_${exp_id}_${trial_id};
cmd2
@id="i0hngt"
PAI -name cluster_evaluation
-project algo_public
-DinputTableName=pai_cluster_evaluation_test_input
-DselectedColNames=f0,f1
-DmodelName=pai_kmeans_test_output_model_${exp_id}_${trial_id}
-DoutputTableName=pai_ft_cluster_evaluation_out_${exp_id}_${trial_id};
@otherprops:limitout
@/otherprops