En una configuración de cloud phone, el dispositivo virtual en la nube controla la orientación de la pantalla, no los sensores del dispositivo local. Cuando la nube cambia de orientación vertical a horizontal, el cliente local debe sincronizarse con ese cambio. Sin esta sincronización, la transmisión de video se muestra recortada, estirada o rotada de manera incorrecta. Además, las coordenadas de entrada táctil dejan de corresponder a las regiones correctas de la pantalla.
Este tema explica cómo implementar la rotación de pantalla controlada por la nube en Android y iOS mediante el SDK de ECP.
Cómo funciona
Sincronizar la rotación de pantalla requiere gestionar dos aspectos independientes:
Orientación de la interfaz: forzar que la Activity (Android) o el ViewController (iOS) local cambie su orientación para coincidir con el dispositivo en la nube.
Rotación del fotograma de video: ajustar la capa de renderizado para que la transmisión de video llene la pantalla correctamente y sin distorsiones.
Ambos procesos deben ocurrir al mismo tiempo. Si actualice la orientación de la interfaz sin rotar el fotograma de video, o viceversa, obtendrá una visualización desalineada o distorsionada.
La nube envía un valor de rotación a través de un canal de datos llamado wy_vdagent_default_dc. El cliente local lo recibe, cambia la orientación de la interfaz y rota la capa de renderizado según corresponda.
|
Valor de rotación |
Orientación |
|
|
Portrait |
|
|
Landscape left |
|
|
Landscape right |
Los comandos se analizan sintácticamente con CommandUtils.parseCommand(), lo cual activa una devolución de llamada onRotation con el valor de rotación.
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
El SDK de ECP para Android o iOS integrado en su proyecto.
Una instancia de cloud phone en ejecución y accesible desde su cliente local.
Gestionar la rotación local en Android
La implementación en Android utiliza TextureView para el renderizado y un DataChannel para recibir los comandos de rotación desde la nube.
Paso 1: Configurar StreamView
Deshabilite el control automático de orientación en la nube y cambie la vista de renderizado a TextureView:
// Disable cloud-side automatic orientation control
bundle.putBoolean(StreamView.CONFIG_DISABLE_ORIENTATION_CLOUD_CONTROL, true);
// Use TextureView instead of SurfaceView for rotation support
mStreamView = findViewById(R.id.stream_view);
mStreamView.enableTextureView(true);
Paso 2: Recibir comandos de rotación y sincronizar la orientación
Registre un listener de DataChannel en wy_vdagent_default_dc. Cuando se activa onRotation, el controlador ejecuta dos acciones en el hilo de la interfaz:
Paso 2a — Rotar el fotograma de video: Llame a
setSurfaceRotation()para rotar la textura subyacente y que coincida con la orientación de la nube.Paso 2b — Bloquear la orientación de la Activity: Llame a
setRequestedOrientation()para evitar que la rotación basada en sensores anule el estado definido por la nube.
mStreamView.getASPEngineDelegate().addDataChannel(new DataChannel("wy_vdagent_default_dc") {
@Override
protected void onReceiveData(byte[] buf) {
String str = "";
try {
str = new String(buf, "UTF-8");
} catch (UnsupportedEncodingException e) {
str = new String(buf);
}
Log.i(TAG, "wy_vdagent_default_dc dc received " + buf.length + " bytes data:" + str);
CommandUtils.parseCommand(str, new CommandUtils.CommandListener() {
@Override
public void onCameraAuthorize() {
checkStartCpd();
}
@Override
public void onRotation(int rotation) {
runOnUiThread(() -> {
// Step 2a: Rotate the video texture to match the cloud orientation
mStreamView.setSurfaceRotation(rotation);
// Step 2b: Lock the Activity orientation to prevent sensor-driven rotation
if (rotation == 1) {
setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);
} else if (rotation == 3) {
setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_REVERSE_LANDSCAPE);
} else {
setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_PORTRAIT);
}
});
}
@Override
public void onUnknownCommand(String cmd) {
showError("Unknown command: " + cmd);
}
});
}
@Override
protected void onConnectStateChanged(DataChannelConnectState state) {
Log.i(TAG, "wy_vdagent_default_dc dc connection state changed to " + state);
}
});
Tanto setSurfaceRotation() como setRequestedOrientation() se ejecutan en el hilo de la interfaz mediante runOnUiThread().
Gestionar la rotación local en iOS
La implementación en iOS divide el trabajo entre dos clases: BaseViewController gestiona el estado de la orientación, mientras que DemoEDSAgentChannel recibe los comandos de la nube y aplica la transformación de rotación a StreamView.
Paso 1: Configurar las orientaciones compatibles en Info.plist
En Info.plist, declare la compatibilidad con las orientaciones vertical, horizontal izquierda y horizontal derecha:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<array>
<string>UIInterfaceOrientationPortrait</string>
<string>UIInterfaceOrientationLandscapeLeft</string>
<string>UIInterfaceOrientationLandscapeRight</string>
</array>
</plist>
Paso 2: Implementar BaseViewController
BaseViewController almacena el estado de rotación actual y fuerza el cambio de orientación cuando la nube envía un nuevo valor. Al establecer shouldAutorotate en false, se deshabilite la rotación basada en sensores. De este modo, solo los comandos de la nube controlan los cambios de orientación.
@implementation BaseViewController {
NSInteger mRoration;
}
- (void)viewDidLoad {
[super viewDidLoad];
self.view.backgroundColor = [UIColor whiteColor];
}
- (void)switchRoration:(NSInteger)roration {
mRoration = roration;
// Force orientation switch (recommended for iOS 16+)
if (@available(iOS 16.0, *)) {
[self setNeedsUpdateOfSupportedInterfaceOrientations];
} else {
// Legacy method (deprecated, but compatible with iOS 15 and earlier)
NSNumber *value = @([self supportedInterfaceOrientations]);
[[UIDevice currentDevice] setValue:value forKey:@"orientation"];
}
}
- (UIInterfaceOrientationMask)supportedInterfaceOrientations {
switch (mRoration) {
case 1:
return UIInterfaceOrientationMaskLandscapeLeft;
case 3:
return UIInterfaceOrientationMaskLandscapeRight;
default:
return UIInterfaceOrientationMaskPortrait;
}
}
- (BOOL)shouldAutorotate {
return false; // Disable sensor-driven rotation; only cloud commands control orientation
}
// Optional: Specify the preferred orientation for presentation
- (UIInterfaceOrientation)preferredInterfaceOrientationForPresentation {
switch (mRoration) {
case 1: return UIInterfaceOrientationLandscapeLeft;
case 3: return UIInterfaceOrientationLandscapeRight;
default: return UIInterfaceOrientationPortrait;
}
}
@end
Paso 3: Configurar el canal de datos
En su view controller, inicialice DemoEDSAgentChannel y agréguelo a StreamView:
self.esdAgent = [[DemoEDSAgentChannel alloc] initWithParameter:DATA_CHANNEL_NAME];
self.esdAgent.streamView = self.streamView;
self.esdAgent.viewController = self;
[self.streamView addDataChannel:self.esdAgent];
Paso 4: Procesar los comandos de rotación en DemoEDSAgentChannel
DemoEDSAgentChannel decodifica los datos entrantes, analiza sintácticamente el comando de rotación y aplica dos cambios en el hilo principal:
Paso 4a — Cambiar la orientación de la interfaz: Llame a
switchRoration:en el view controller.Paso 4b — Rotar el fotograma de video: Aplique una
CGAffineTransformaStreamView.
Para las orientaciones horizontales, las coordenadas centrales de StreamView (X e Y) se intercambian. Esto mantiene el video centrado después de la transformación de 90 grados.
@interface DemoEDSAgentChannel() <CommandListener>
@property (nonatomic, assign) CGRect rect;
@end
@implementation DemoEDSAgentChannel
- (void)setViewController:(BaseViewController *)viewController {
self.rect = viewController.view.bounds;
_viewController = viewController;
}
- (void)onConnectStateChanged:(ASPDCConnectState)state {
NSLog(@"[DemoEDSAgentChannel] onConnectStateChanged %ld", state);
if (state == OPEN) {
// to send data
}
}
- (void)onReceiveData:(NSData * _Nonnull)buf {
NSString *string = [[NSString alloc] initWithData:buf encoding:NSUTF8StringEncoding];
NSLog(@"[DemoEDSAgentChannel] onConnectStateChanged %@", string);
[CommandUtils parseCommand:string listener:self];
}
#pragma mark - CommandListener
- (void)onRotation:(NSInteger)value {
NSLog(@"[DemoEDSAgentChannel] onRotation %ld", value);
dispatch_async(dispatch_get_main_queue(), ^{
// Step 4a: Switch UI orientation
[self.viewController switchRoration:value];
// Step 4b: Rotate the StreamView to match the video frame orientation
if (value == 1 || value == 3) {
// Swap X and Y center coordinates to keep the view centered in landscape
self.streamView.center = CGPointMake(CGRectGetMidY(self.viewController.view.bounds),
CGRectGetMidX(self.viewController.view.bounds));
self.streamView.transform = CGAffineTransformMakeRotation(-M_PI_2 * value);
} else {
self.streamView.center = CGPointMake(CGRectGetMidX(self.rect),
CGRectGetMidY(self.rect));
self.streamView.transform = CGAffineTransformIdentity;
}
});
}
@end