MaxCompute:Escrever um job do Graph

Pré-requisitos

• O cliente MaxCompute deve estar instalado e configurado, com conexão estabelecida a uma instância do MaxCompute. Para mais informações, consulte MaxCompute client.

• É necessário ter o IntelliJ IDEA 2024 instalado e configurado, além de uma versão compatível do MaxCompute Studio atualizada em 2024. Para mais detalhes, veja Install MaxCompute Studio e Configure MaxCompute Studio.

• Configure o Apache Maven versão apache-maven-3.5.0.

• Instale o JDK 1.8 ou superior.

• Prepare um arquivo de dados. Este tópico usa o arquivo sssp.txt como exemplo.

  1 2:2,3:1,4:4
  2 1:2,3:2,4:1
  3 1:1,2:2,5:1
  4 1:4,2:1,5:1
  5 3:1,4:1

Procedimento

1. Inicie o cliente MaxCompute e execute os comandos abaixo para criar a tabela de entrada sssp_in e a tabela de saída sssp_out.

   CREATE TABLE sssp_in (v bigint, es string);
   CREATE TABLE sssp_out (vertex bigint, value bigint);

2. Execute o comando Tunnel para carregar os dados do arquivo sssp.txt na tabela sssp_in, utilizando espaço como delimitador de colunas.

   tunnel u -fd " " sssp.txt sssp_in;

   Nota

   Neste exemplo, o arquivo sssp.txt está salvo no diretório bin do cliente MaxCompute. Certifique-se de especificar o caminho correto para o seu arquivo sssp.txt.

3. Escreva o exemplo SSSP.

   1. No IntelliJ IDEA, crie um MaxCompute Java Module e nomeie-o como odps-graph-example-sssp.

      Nota

      Para mais informações, consulte Create a MaxCompute Java Module.

   2. No novo módulo odps-graph-example-sssp, crie as classes BaseLoadingVertexResolver e SSSP. Para obter o código Java completo, veja o exemplo de grafo direcionado em Single Source Shortest Path. Adicione as seguintes dependências ao arquivo pom.xml.

      <dependency>
          <groupId>com.aliyun.odps</groupId>
          <artifactId>odps-sdk-core</artifactId>
          <version>0.48.0-public</version>
      </dependency>
      <dependency>
          <groupId>com.aliyun.odps</groupId>
          <artifactId>odps-sdk-graph</artifactId>
          <version>0.48.0-public</version>
      </dependency>
      
      <!-- For local testing -->
      <dependency>
          <groupId>com.aliyun.odps</groupId>
          <artifactId>odps-graph-local</artifactId>
          <version>0.48.0-public</version>
      </dependency>

   3. Utilize o MaxCompute Studio no IntelliJ IDEA para empacotar o projeto. Para instruções detalhadas, consulte Package, upload, and register.

      Nota

      Neste exemplo, o pacote JAR implantado no projeto MaxCompute chama-se odps-graph-example-sssp.jar.

4. No cliente MaxCompute, execute o comando a seguir para rodar o job SSSP.

   jar -libjars odps-graph-example-sssp.jar -classpath <LOCAL_JAR_PATH>/odps-graph-example-sssp.jar SSSP 1 sssp_in sssp_out;

   LOCAL_JAR_PATH: O caminho local para o arquivo odps-graph-example-sssp.jar.

   Após a conclusão do job, execute select * from sssp_out; para consultar a tabela sssp_out e verificar o resultado.

   vertex    value
   1        0
   2        2
   3        1
   4        3
   5        2

   • vertex: O ID de um vértice.

   • value: A menor distância do vértice correspondente até o vértice de origem (1).

   Nota

   Para utilizar o recurso Graph, basta enviar um Graph job.