MaxCompute:Preparativos

Acessar o MaxFrame a partir de um cliente local

1. Em uma CLI do sistema, como o Prompt de Comando do Windows, execute o comando pip para instalar o cliente MaxFrame. Exemplo de comando:

   pip install maxframe

2. Crie uma sessão do MaxFrame.

   1. Crie um arquivo .py, como test.py, copie o código de exemplo abaixo para o arquivo test.py e salve-o.

      import os
      import maxframe.dataframe as md
      from odps import ODPS
      from maxframe import new_session
      
      # Create a MaxCompute entry.
      o = ODPS(
          # Set the environment variable ALIBABA_CLOUD_ACCESS_KEY_ID to the AccessKey ID of your Alibaba Cloud account. 
          # Set the environment variable ALIBABA_CLOUD_ACCESS_KEY_SECRET to the AccessKey secret of your Alibaba Cloud account. 
          # We recommend that you do not directly use the actual AccessKey ID and AccessKey secret. 
          os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
          os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
          project='your-default-project',
          endpoint='your-end-point',
      )
      table = o.create_table("test_source_table", "a string, b bigint", if_not_exists=True)
      with table.open_writer() as writer:
          writer.write([
              ["value1", 0],
              ["value2", 1],
          ])
      
      # Create a MaxFrame session.
      session = new_session(o)
      
      df = md.read_odps_table("test_source_table",index_col="b")
      df["a"] = "prefix_" + df["a"]
      
      # Print DataFrame data.
      print(df.execute().fetch())
      
      # Write data from MaxFrame DataFrame to a MaxCompute table.
      md.to_odps_table(df, "test_prefix_source_table").execute()
      
      # Destroy the MaxFrame session.
      session.destroy()

      Parâmetros:

      • ALIBABA_CLOUD_ACCESS_KEY_ID: AccessKey ID da conta Alibaba Cloud com as permissões do MaxCompute sobre os objetos a gerenciar no projeto do MaxCompute. Obtenha o AccessKey ID na página AccessKey Pair no Alibaba Cloud Management Console.

      • ALIBABA_CLOUD_ACCESS_KEY_SECRET: AccessKey secret correspondente ao AccessKey ID.

      • your-default-project: Nome do projeto do MaxCompute. Faça login no console do MaxCompute e navegue até Workspace > Projects no painel de navegação à esquerda para visualizar o nome do projeto.

      • your_end_point: Endpoint da região onde reside o projeto do MaxCompute. Para mais informações, consulte Endpoints.

   2. Navegue até o diretório do arquivo test.py e execute-o. Exemplo de comando:

      python test.py

Acessar o MaxFrame pelo DataWorks

O DataWorks integra o MaxFrame aos nós PyODPS 3 e oferece recursos de agendamento de tarefas. Use nós PyODPS 3 para desenvolver e executar jobs do MaxFrame.

1. Crie um nó PyODPS 3.

   Crie um nó PyODPS 3 na página DataStudio do console do DataWorks. Para mais detalhes, consulte Desenvolver uma tarefa PyODPS 3.

2. Crie uma sessão do MaxFrame.

   Como o PyODPS 3 já integra informações de usuário e projeto do MaxCompute, crie sessões do MaxFrame diretamente. Código de exemplo:

   import maxframe.dataframe as md
   from maxframe import new_session
   from maxframe.config import options
   options.sql.enable_mcqa = False
   
   table = o.create_table("test_source_table", "a string, b bigint", if_not_exists=True)
   with table.open_writer() as writer:
       writer.write([
           ["value1", 0],
           ["value2", 1],
       ])
   
   # Create a MaxFrame session.
   session = new_session(o)
   
   df = md.read_odps_table("test_source_table",index_col="b")
   df["a"] = "prefix_" + df["a"]
   
   # Print DataFrame data.
   print(df.execute().fetch())
   
   # Write data from MaxFrame DataFrame to a MaxCompute table.
   md.to_odps_table(df, "test_prefix_source_table").execute()
   
   # Destroy the MaxFrame session.
   session.destroy()