Cloud Phone:Edição C++ do Windows SDK

Baixe o SDK e a demonstração

Requisitos do ambiente de integração

Windows x64 release

Importar o SDK

Exemplo no Visual Studio 2019:

Abra Project Properties > Configuration Properties > VC++ Directories. Adicione o diretório include do asp-client-sdk em Include Directories.

Abra Project Properties > Configuration Properties > VC++ Directories. Adicione o diretório lib do asp-client-sdk em Library Directories.

Abra Project Properties > Configuration Properties > Linker > General. Adicione o diretório lib do asp-client-sdk em Additional Library Directories.

Abra Project Properties > Configuration Properties > Linker > Input. Adicione asp-client-sdk.lib, asp-engine.lib e glog.lib em Additional Dependencies.

Exemplo no Qt Creator:

Adicione as linhas abaixo ao arquivo .pro do seu projeto:

INCLUDEPATH+=$$PWD/asp-client-sdk/include \
LIBS+=$$PWD/asp-client-sdk/lib/asp-client-sdk.lib \
      $$PWD/asp-client-sdk/lib/asp-engine.lib \
      $$PWD/asp-client-sdk/lib/glog.lib \

Executar rapidamente a demonstração

Baixe o Windows_Demo_Release e descompacte-o para obter dois diretórios: server e client. Esses diretórios contêm, respectivamente, as demonstrações do lado do servidor e do lado do cliente.

Iniciar o servidor

Modifique o arquivo de configuração:

{
    "httpPort": "8328",
    "accessKeyId": "AK",
    "accessKeySecret": "SK",
    "androidRegionId": "cn-hangzhou"
}

Substitua AK e SK pelos seus valores reais de AccessKey ID e AccessKey Secret. Defina androidRegionId com o id da região da sua instância.

Execute server/run_server.bat. A seguinte mensagem será exibida:

2024-11-01T13:48:27.002Z Server is running on http://127.0.0.1:8328/listAic

O servidor foi iniciado com sucesso.

Executar o cliente

{
  "CLOUD_SCREENSIZE_HEIGHT": 100,
  "CLOUD_SCREENSIZE_WIDTH": 100,
  "DEBUG_MODE": 2,
  "DISPLAY_COL": 11,
  "DISPLAY_GROUP": 20,
  "GROUPIDS": [
       "ag-1jknz4zyznleim503"
  ],
  "GROUP_SCREENSIZE_HEIGHT": 100,
  "GROUP_SCREENSIZE_WIDTH": 100,
  "LOCAL_SCREENSIZE_HEIGHT": 720,
  "LOCAL_SCREENSIZE_WIDTH": 480,
  "DISPLAY_SCALE": 1,
  "GROUP_SCALE": 8,
  "MAX_PHONE_NUM": 0,
  "PROXY_CONN_TYPE": 0,
  "QUIC_OPTION": false,
  "PHONE_URL": "http://127.0.0.1",
  "PORT": 8328,
  "AUDIO_ENABLE": false,
  "USE_DUMP": false,
  "USE_OPENGL": true
}

Substitua GROUPIDS pelo id do grupo de instâncias do Cloud Phone que você deseja controlar. O id deve começar com ag-. É possível especificar vários ids de grupo. Salve o arquivo após atualizá-lo com o id do grupo de instâncias do Cloud Phone prefixado com ag-.

Descrição dos parâmetros de configuração:

CLOUD_SCREENSIZE_HEIGHT: Initial cloud screen height
CLOUD_SCREENSIZE_WIDTH: Initial cloud screen width
DEBUG_MODE: Log level (0 = no logs, 1 = debug, 2 = info)
DISPLAY_COL: Maximum number of columns displayed (10)
GROUPIDS: Instance groups (supports a list)
GROUP_SCREENSIZE_HEIGHT: Initial local thumbnail window height
GROUP_SCREENSIZE_WIDTH: Initial local thumbnail window width
LOCAL_SCREENSIZE_HEIGHT: Initial local main control window height
LOCAL_SCREENSIZE_WIDTH: Initial local main control window width
DISPLAY_SCALE: Main control scaling ratio
GROUP_SCALE: Thumbnail scaling ratio
MAX_PHONE_NUM: Maximum number of connections
PROXY_CONN_TYPE: Connection type (fixed value)
QUIC_OPTION: Whether to use QUIC (fixed value)
PHONE_URL: Server address
PORT: Server port
AUDIO_ENABLE: Whether to enable audio
EndUserId: Collaborative streaming username
IS_COO: Whether collaborative streaming is enabled
SALE_MODE: Whether CPS is enabled
SHOW_INSTENCE_NAME: Whether to display the instance name or ID
USE_OPENGL: Whether to enable OpenGL rendering

Execute client/WuyingDemo.exe.

AspTicket ticket;
// Set ticket
ticket.ticket = "";
// Set AppInstanceId
ticket.id = "";//AppInstanceId;
// Set user
ticket.user = "";//Cloud Phone name
// uuid must match the backend uuid
ticket.uuid = "wyClient";
// Fixed for Windows
ticket.systemType = "Windows";
// Fixed to 0
ticket.partner = 0;
// Whether thumbnail mode is enabled. Fixed to true.
ticket.isThumbnailEnable = true;

// Add connection callback. See below for details.
shared_ptr<AspClientCbImpl> iClient(new AspClientCbImpl(cert.Id));
AspClient *client=AspClient::create(ticket, iClient);

// Clipboard callback. See below for details.
shared_ptr<AspClipboardlmpl> clipboardCallback(new AspClipboardlmpl());
client->setClipboardCallback(clipboardCallback);

// Shell command callback. See below for details.
shared_ptr<AspShellCmdlmpl> shellCmdCallBack(new AspShellCmdlmpl());
client->setShellCmdCallback(shellCmdCallBack);

// Set thumbnail display size: width (int), height (int), fps (int)
client->setThumbnailDisplay(with, height, 1);

// Set connection type. Fixed to socket and false.
client->setProxyConnType(ASP_CONN_SOCKET);
client->setQuicOption(false);

// Set display callback
shared_ptr<IAspDisplayCallback> iDisplay(nullptr);
auto display = client->addDisplay(iDisplay);

// Connect to the phone
client->open();

AspTicket ticket;
// Set the ticket.
ticket.ticket = "";
// Set the AppInstanceId.
ticket.id = "";//AppInstanceId;
// Set the user.
ticket.user = "";// The name of the cloud phone.
// The UUID must be the same as the one on the backend.
ticket.uuid = "wyClient";
// Set to a fixed value: Windows.
ticket.systemType = "Windows";
// Set to a fixed value: 0.
ticket.partner = 0;
// Enable the thumbnail feature. Set to a fixed value: true.
ticket.isThumbnailEnable = true;

// Add a connection callback. For more information, see the subsequent sections.
shared_ptr<AspClientCbImpl> iClient(new AspClientCbImpl(cert.Id));
AspClient *client=AspClient::create(ticket, iClient);

// Clipboard callback. For more information, see the subsequent sections.
shared_ptr<AspClipboardlmpl> clipboardCallback(new AspClipboardlmpl());
client->setClipboardCallback(clipboardCallback);

// Add a Shell command callback. For more information, see the subsequent sections.
shared_ptr<AspShellCmdlmpl> shellCmdCallBack(new AspShellCmdlmpl());
client->setShellCmdCallback(shellCmdCallBack);

// Set the thumbnail window size. Parameters: width (int), height (int), and fps (int).
client->setThumbnailDisplay(with, height, 1);

// Set the connection type. The type is fixed to socket and the QUIC option is set to false.
client->setProxyConnType(ASP_CONN_SOCKET);
client->setQuicOption(false);

// Set the window callback.
shared_ptr<IAspDisplayCallback> iDisplay(nullptr);
auto display = client->addDisplay(iDisplay);

// Connect to the cloud phone.
client->open();

client->reopen(ticket);

client->close(false)

2.5.1 Proxy de callback de conexão IAspClientCallback

Descrições das interfaces de proxy:

Exemplo de código:

class AspClientCbImpl : public IAspClientCallback
{
public:
    AspClientCbImpl() {}
    // Thumbnail update callback
    void onThumbnailUpdate(void* buffer, uint32_t width, uint32_t height, AspImageFormat format) override {

    }
    // Connection event callback
    void onConnectEvent(ConnectEvent& event) override {
       switch(event.type) {
          case ConnectEventType::EVENT_CONNECT_SUCCESS:
              
              break;
          case ConnectEventType::EVENT_CONNECT_FAILED:
              
              break;
          case ConnectEventType::EVENT_DISCONNECT_SUCCESS:
              
              break;
          case ConnectEventType::EVENT_RECONNECT_START:
              
              break;
          case ConnectEventType::EVENT_RECONNECT_FAILED:
              
              break;
          default:
              
              break;
        }
    }
};

2.5.2 Proxy de callback de fluxo de controle principal IAspDisplayCallback

Descrições das interfaces de proxy:

Exemplo de código:

class AspDisplayCbImpl : public IAspDisplayCallback
{
public:
    void onImageFrameReady(AspImageFrame& frame) override {
        // Pointer to the main control image byte array (length = width × height × 4)
        uint8_t* ptr = static_cast<uint8_t*>(frame.buffer);
        // Image width
        int width = frame.width;
        // Image height
        int height = frame.height;
        // Must manually release
        frame.releaseBuffer();
    }
};

2.5.3 Proxy de callback de áudio AspAudio

Descrições das interfaces de proxy:

Exemplo de código:

class AspAudioImpl : public AspAudio
{
public:
    void onAudioFrameRender(AspAudioFrame &frame) override{
    
    }
    void onAudioVolumeUpdate(uint32_t volume) override{
    
    }
    void onAudioMuteUpdate(bool isMute) override{
    
    }

    void onAudioPlaybackUpdate(AspAudioPlayback &playback) override{
    
    }

    void onAudioPlaybackStart() override{
    
    }
    void onAudioPlaybackStop() override{
    
    }
};

3.1.1 Inicialização

Descrição da função: Esta interface imprime logs internos do SDK para solução de problemas.

Exemplo de código:

// Initialize logging. AspLogSinkImpl is the log callback.
auto logSinkImpl = std::make_shared<AspLogSinkImpl>();
AspLogSink::setLogSink(logSinkImpl.get());

3.1.2 Proxy de callback AspLogSink

Descrições das interfaces de proxy:

Exemplo de código:

#include "AspLogSink.h"

using namespace wuying::asp;

class AspLogSinkImpl : public AspLogSink
{
public:
    AspLogSinkImpl() {

    }

    void debug(const std::string& tag, const std::string& msg) override {
        // Print debug log
    }
    void info(const std::string& tag, const std::string& msg) override {
        // Print info log
    }
    void warning(const std::string& tag, const std::string& msg) override {
        // Print warning log
    }
    void fatal(const std::string& tag, const std::string& msg) override {
        // Print fatal log
    }
    void error(const std::string& tag, const std::string& msg) override {
        // Print error log
    }
};

3.2.1 suspendThumbnailDisplay

Protótipo da função: void suspendThumbnailDisplay()

Descrição da função: Suspende o streaming de imagens de miniatura.

Exemplo de código:

client->suspendThumbnailDisplay();

3.2.2 resumeThumbnailDisplay

Protótipo da função: void resumeThumbnailDisplay()

Descrição da função: Retoma o streaming de miniaturas e pode forçar o envio de um único frame.

Exemplo de código:

client->resumeThumbnailDisplay();

3.3.1 setOutputImageFormat

Protótipo da função: void setOutputImageFormat(AspImageFormat format)

Descrição da função: Define o formato do frame de callback do controle principal.

Descrição dos parâmetros:

Exemplo de código:

client->setOutputImageFormat(AspImageFormat::BGRA);

3.3.2 requestGraphicsKeyFrame

Protótipo da função: void requestGraphicsKeyFrame(AspDisplay* display) = 0;

Descrição da função: Envia um único keyframe para o fluxo de controle principal. O parâmetro é AspDisplay.

Descrição dos parâmetros:

Exemplo de código:

client->requestGraphicsKeyFrame(display);

3.3.3 setGraphicsQuality

Protótipo da função: void setGraphicsQuality(AspImageQuality quality) = 0;

Descrição da função: Define a qualidade da imagem. A qualidade depende da resolução. Geralmente, defina este parâmetro como AUTO. Para parâmetros detalhados, consulte a definição da struct.

Descrição dos parâmetros:

client->setGraphicsQuality(ASP_IMAGE_QUALITY_AUTO)

3.3.4 setGraphicsFps

Protótipo da função: void setGraphicsFps(int fps) = 0;

Descrição da função: Define os quadros por segundo (FPS).

Descrição dos parâmetros:

Exemplo de código:

client->setGraphicsFps(30)

3.3.5 setGraphicsBitrate

Protótipo da função: void setGraphicsBitrate(int32_t bps) = 0;

Descrição da função: Define a taxa de bits, o que afeta o tamanho da imagem.

Descrição dos parâmetros:

As taxas de bits a seguir servem apenas como referência:

Exemplo de código:

client->setGraphicsBitrate(1*1024)

3.4.1 sendMouseClick

Protótipo da função: void sendMouseClick(AspAction action, uint32_t button, uint32_t buttonState) = 0;

Descrição da função: Envia um evento de clique do mouse.

Descrição dos parâmetros:

Exemplo de código:

// Mouse left button press
display->sendMouseClick(AspAction::ACTION_DOWN, ASP_MOUSE_BUTTON_MASK_L, ASP_MOUSE_BUTTON_LEFT);
// Mouse left button release
display->sendMouseClick(AspAction::ACTION_UP, ASP_MOUSE_BUTTON_MASK_L, ASP_MOUSE_BUTTON_LEFT);

3.4.2 sendMouseMove

Protótipo da função: virtual void sendMouseMove(uint32_t x, uint32_t y, uint32_t buttonState) = 0;

Descrição da função: Envia um evento de movimento do mouse.

Descrição dos parâmetros:

Exemplo de código:

// x and y are the Cloud Phone coordinates
sendMouseMove(x, y, ASP_MOUSE_BUTTON_MASK_L)

3.5.1 sendKeyEvent

Protótipo da função: virtual void sendKeyEvent(AspAction action, int scancode) = 0;

Esta funcionalidade descreve eventos de teclado.

Descrição dos parâmetros:

Exemplo de código:

// Key press
display->sendKeyEvent(AspAction::ACTION_DOWN,scanCode);
// Key release
display->sendKeyEvent(AspAction::ACTION_UP,scanCode);

3.6.1 setClipBoardTypes

Protótipo da função: virtual void setClipBoardTypes(std::vector<AspClipboardType> types) = 0;

Envia o formato de dados do conteúdo da área de transferência ao copiar para a área de transferência ou colar pressionando Ctrl+V. Apenas texto é suportado.

Descrição dos parâmetros:

Exemplo de código:

std::vector<AspClipboardType> types;
types.push_back(AspClipboardType::CLIPBOARD_UTF8_TEXT);
client->setClipBoardTypes(types);

3.6.2 notifyClipboardReadComplete

Protótipo da função: virtual void notifyClipboardReadComplete(AspClipboardType type, uint8_t* buf, size_t len) = 0;

Descrição da função: Envia conteúdo para o Cloud Phone. Esta função é chamada quando onClipboardRead(uint8_t selection, AspClipboardType type) é acionado.

Descrição dos parâmetros:

Exemplo de código:

void onClipboardRead(uint8_t selection, AspClipboardType type) override {
        // Triggered when copying from local to Cloud Phone via client->setClipBoardTypes(types)
        // Call notifyClipboardReadComplete to send clipboard content
        client->notifyClipboardReadComplete(type, reinterpret_cast<uint8_t *>(utf8Data.data()), utf8Data.size());
}

3.6.3 Proxy de callback IClipboardCallback

Descrições das interfaces de proxy:

Exemplo de código:

class AspClipboardlmpl :public IClipboardCallback
{
public:
    AspClipboardlmpl() {};

    void onClipboardRead(uint8_t selection, AspClipboardType type) override {
        // Triggered when copying from local to Cloud Phone via client->setClipBoardTypes(types)
        // Call notifyClipboardReadComplete to send clipboard content
        //client->notifyClipboardReadComplete(type, reinterpret_cast<uint8_t *>(utf8Data.data()), utf8Data.size());
    }
    void onClipboardWrite(std::vector<AspClipboardData> dataV) override {
        // Write dataV to the local clipboard when copying from Cloud Phone
    }
};

3.7.1 sendStringDataToShell

Protótipo da função: virtual bool sendStringDataToShell(const std::string& val) = 0;

Descrição da função: Envia um comando Shell.

Descrição dos parâmetros:

Exemplo de código:

client->sendStringDataToShell(jsonString)

Comandos ADB comuns:

3.7.2 Proxy de callback IShellCmdCallback

Descrições das interfaces de proxy:

Exemplo de código:

class AspShellCmdlmpl :public IShellCmdCallback
{
public:
    AspShellCmdlmpl() {};

    void onReceiveStringData(const std::string& val) override {
        // Callback for string responses
    }
    void onReceiveRawData(const std::vector<uint8_t> val) override {
       // Callback for raw byte responses
    }
};

struct AspTicket {
    std::string ticket; 		// Ticket string for accessing a Cloud Phone
    std::string id;			// Desktop ID
    std::string user;			// Username
    std::string uuid;			// Local UUID (must match the UUID used when requesting the ticket)
    std::string systemType;		// Operating system type
    uint8_t partner;			// Partner ID
    bool isThumbnailEnable = false;	// Whether thumbnail mode is enabled
};

struct ConnectEvent {
    ConnectEventType type;	// Event type such as connection success or failure
    int reason;				// Reason for the event trigger
};

struct AspImageFrame {
    uint32_t frameId;
    void* buffer;
    uint32_t width;
    uint32_t height;
    AspImageFormat format;
    ReleaseBuffer releaseBuffer;
};

struct AspAudioFrame {
    int sample;				// Sample rate
    int channels;			// Channels
    int size;				// Data size
    uint8_t *data;			// Data address

    ReleaseBuffer releaseBuffer;	// Function to release data. Must be called after using data.
};

struct AspAudioPlayback {
    AspAudioReadType readType;	// Audio data retrieval method: PUSH or PULL
    AspAudioMode mode;		// PCM or OPUS
    uint32_t channels;		// Number of channels
    uint32_t frequency;		// Sample rate
    AspAudioFormat format;	// RAW or OPUS

    AudioReader audioReader;	// Function for data reading in PULL mode. Refer to the demo implementation.
};

struct AspClipboardData {
    AspClipboardType type;
    uint8_t* data;
    uint32_t size;
};

enum AspConnType {
    ASP_CONN_SOCKET = 0,
    ASP_CONN_SOCKPAIR = 1,
    ASP_CONN_PIPE = 2,
    ASP_CONN_SOCKET_UNIX = 3,
    ASP_CONN_END = ASP_CONN_PIPE,
};

enum class AspImageFormat {
    YUV420P,
    YUV422P,
    YUV444P,
    RGB24,
    RGBA,
    BGRA,
    ARGB,
    ABGR,
    NV12
};

enum ConnectEventType {
    EVENT_CONNECT_SUCCESS,
    EVENT_CONNECT_FAILED,
    EVENT_DISCONNECT_SUCCESS,
    EVENT_RECONNECT_START,
    EVENT_RECONNECT_FAILED
};

enum AspImageQuality {
    ASP_IMAGE_QUALITY_LOSSLESS = 0,
    ASP_IMAGE_QUALITY_HIGH = 1,
    ASP_IMAGE_QUALITY_MEDIUM = 2,
    ASP_IMAGE_QUALITY_LOW = 3,
    ASP_IMAGE_QUALITY_AUTO = 4,
};

enum AspAction {
    ACTION_UP,
    ACTION_DOWN
};

enum AspMouseButtonMask {
    ASP_MOUSE_BUTTON_MASK_L = (1 << 0),
    ASP_MOUSE_BUTTON_MASK_M = (1 << 1),
    ASP_MOUSE_BUTTON_MASK_R = (1 << 2),
    ASP_MOUSE_BUTTON_MASK_F = (1 << 3),
    ASP_MOUSE_BUTTON_MASK_B = (1 << 4),

    ASP_MOUSE_BUTTON_MASK = 0x1f
};

enum AspMouseButton {
    ASP_MOUSE_BUTTON_INVALID,
    ASP_MOUSE_BUTTON_LEFT,
    ASP_MOUSE_BUTTON_MIDDLE,
    ASP_MOUSE_BUTTON_RIGHT,
    ASP_MOUSE_BUTTON_UP,
    ASP_MOUSE_BUTTON_DOWN,
    ASP_MOUSE_BUTTON_SIDE_FORWARD,
    ASP_MOUSE_BUTTON_SIDE_BACK,

    ASP_MOUSE_BUTTON_ENUM_END
};

enum AspClipboardType {
    CLIPBOARD_NONE = 0,
    CLIPBOARD_UTF8_TEXT,
    CLIPBOARD_IMAGE_PNG,  /* All clients with image support should support this one */
    CLIPBOARD_IMAGE_BMP,  /* optional */
    CLIPBOARD_IMAGE_TIFF, /* optional */
    CLIPBOARD_IMAGE_JPG,  /* optional */
    CLIPBOARD_FILE,       /* optional, single file */
    CLIPBOARD_DIRECTORY,  /* optional, support directory recursive */
    CLIPBOARD_HTML,
    CLIPBOARD_RTF,
    CLIPBOARD_XML_SPREAD_SHEET,
};

sequenceDiagram
      participant App
      participant Sdk
      App->>Sdk: close(true)
      Sdk-->>App: onConnectEvent EVENT_DISCONNECT_SUCCESS
      App->>Sdk: reopen(Ticket)