Caso as funções integradas do MaxCompute não atendam aos seus requisitos de negócio, desenvolva funções definidas pelo usuário (UDFs) no MaxCompute Studio para implementar os recursos necessários. Este tópico descreve como utilizar o MaxCompute Studio para desenvolver e depurar UDFs Java.
Pré-requisitos
Antes de começar, verifique se você concluiu as seguintes operações:
Uma conexão com um projeto do MaxCompute foi criada no MaxCompute Studio. Para mais informações, consulte Gerenciar conexões de projeto.
Um módulo MaxCompute Java foi criado. Para mais informações, consulte Criar um módulo MaxCompute Java.
Informações de fundo
Siga as etapas deste tópico para desenvolver uma UDF ou crie uma diretamente selecionando .
Escrever uma UDF
No painel Project, clique em com o botão direito no diretório de source code do módulo (ou seja, ) e selecione .
-
Insira um Name, selecione o tipo como UDF e pressione Enter.
Na caixa de diálogo Create new MaxCompute java class, também é possível selecionar outros tipos de classe, incluindo UDAF, UDTF, Driver, mapper, reducer, StorageHandler, Extractor e Outputer.
Name: Nome da classe MaxCompute Java. Para criar um pacote, insira o nome no formato packagename.classname. Essa ação cria automaticamente um pacote.
-
Após criar a classe MaxCompute Java, desenvolva o programa Java no editor.
Executar localmente para depurar a UDF
Execute localmente para testar a UDF e verificar se os resultados atendem às suas expectativas.
Clique em com o botão direito no script Java e selecione Run.
-
Na página Run/Debug Configurations, configure os parâmetros de execução.
Neste exemplo, defina MaxCompute table como
wc_in1, Table columns comocol1e Download Record limit como100.-
MaxCompute project: Especifica o projeto do MaxCompute a ser usado pela UDF. Para uma execução local, selecione local.
NotaPara utilizar dados de tabela em um projeto do MaxCompute, modifique o endpoint e especifique um nome de projeto no campo MaxCompute project. Caso os dados da tabela no projeto do MaxCompute ainda não tenham sido baixados para o diretório warehouse, o sistema fará o download primeiro. Se os dados já estiverem disponíveis, ignore esta etapa.
Ao selecionar local na lista suspensa de MaxCompute project, não há necessidade de interação entre dados ou recursos do MaxCompute e o projeto local. Isso permite desenvolver, testar e depurar UDFs no ambiente local.
MaxCompute table: Nome da tabela do MaxCompute onde a UDF será executada.
Table columns: Colunas da tabela do MaxCompute onde a UDF será executada.
-
-
Clique em OK para iniciar a execução.
NotaDurante a execução local, o sistema lê os dados da tabela especificada em warehouse como entrada. A saída do log pode ser visualizada no console.
Realizar testes unitários para depurar a UDF
Escreva casos de teste com base nos exemplos de teste unitário disponíveis no diretório examples.
Próximos passos
Após desenvolver e depurar uma UDF, empacote, faça upload e registre o código da UDF para torná-la disponível no MaxCompute. Para mais informações, consulte Empacotar um programa Java, fazer upload do pacote e criar uma UDF do MaxCompute.
Referências
Para mais informações sobre como usar Python para desenvolver UDFs no MaxCompute Studio, consulte Desenvolver uma UDF Python.