Steinberg se preocupa por incursionar en ámbitos innovadores. Uno de estos se relaciona con el sonido tridimensional del formato Ambisonics.

Veamos algunas de sus generalidades principales.

Ambisonics – fundamentos

En la actualidad, muchos productos requieren trabajar con audio de realidad virtual (o VR) y realidad aumentada (o AR) para multimedia interactiva como video juegos o transmisiones de video 360 en redes sociales, por nombrar algunos ejemplos. Este formato se fundamenta en ofrecer una experiencia de sumersión total, en la que el usuario disfruta de audio en un sistema de emisión de 360 grados. Durante la producción, este audio requiere tareas de conversión, mezcla, paneo y reproducción, todo lo cual es posible gracias al formato Ambisonics.

Ambisonics es un método para grabar, mezclar y reproducir audio tridimensional de 360 grados, que consiste en codificar la señal en una esfera con sonidos provenientes de todas direcciones, los cuales inciden en su punto central. Dicho punto central es la ubicación del micrófono durante la grabación, o la del oyente durante la reproducción.

Para reproducir la esfera de sonido, las señales de un archivo Ambisonics deben ser decodificadas. Esto implica dos posibilidades:

• Utilizar una configuración de monitoreo estéreo o multicanal, o
• Utilizar audífonos con decodificación binaural.

Esto último requiere una configuración tipo HRTF, o Head-related Transfer Function, la cual crea un campo de sonido esférico de 360 grados basado en la transferencia de sonido alrededor de la cabeza. Esto puede optimizarse aún más si la codificación binaural incluye tecnología de detección de movimiento para tomar en cuenta los movimientos de la cabeza del oyente.

Cubase y Ambisonics

Para términos de este curso, la demostración de un sistema Ambisonics excede el enfoque y el tiempo disponibles, por lo que nos limitaremos a dar un vistazo muy resumido a sus aspectos más representativos, que se pueden resumir en cuatro aspectos principales:

• Configuración de canales
• Paneo
• Monitoreo de audio
• Reproducción de video a 360º

Toda la estructura de funciones y procesamiento de Cubase es compatible con el campo de sonido esférico del formato Ambisonics. La diferencia entre este formato y los formatos surround tradicionales, es que no utiliza canales individuales para emular el espacio auditivo, sino que emplea un esquema codificado de varias señales de audio, lo cual permite ubicar las señales en cualquier posición de la esfera de sonido.

En términos de compatibilidad, Cubase soporta tres tipos de codificaciones Ambisonics, conocidas como Primer Orden, Segundo Orden y Tercer Orden; o First-order, Second-order y Third-order por sus nombres en inglés. Cuanto mayor el orden, hay más canales disponibles, lo cual ofrece una mayor precisión para ubicar fuentes en la esfera de sonido.

• Primer Orden utiliza 4 canales
• Segundo Orden utiliza 8 canales, y
• Tercer Orden utiliza 15 canales

021-02_1609_fot01. Ambisonics – cantidad de canales

Ambisonics – funcionalidad en Cubase

En Cubase, es posible trabajar de ambos lados del espectro de producción. Podemos grabar las señales generadas por un sistema de microfoneo Ambisonics, así como importar archivos Ambisonics en formato Wav para su posterior reproducción, edición, procesamiento, mezcla y exportación, incluyendo la reproducción de video 360 para producciones audiovisuales. Para aprovechar al máximo toda esta funcionalidad, es necesario respetar algunas premisas operativas:

• El formato Ambisonics que utiliza Cubase se llama AmbiX. Existe otro formato llamado Furse-Malham o FuMa, que puede utilizarse en Cubase también, pero requiere insertar el plugin VST AmbiConverter para convertir la señal a AmbiX.
• Si el proyecto está configurado para reproducir audio en formato Ambisonics, es posible realizar tareas de pre-escucha de archivos Ambisonics desde Mediabay, Pool, Direct Offline Processing, e incluso desde el diálogo de importación de audio.
• Es posible editar eventos Ambisonics del mismo modo que se edita cualquier otro evento de audio en la ventana de proyecto, en Sample Editor, en Direct Offline Processsing, y en cualquier otro ambiente de Cubase. Sin embargo, es necesario evitar procesos que modifiquen la relación de nivel o fase entre las señales Ambisonics porque esto podría degradar su codificación o decodificación. Como consecuencia, la precisión de posicionamiento de la imagen en la esfera de sonido podría verse afectada.  
• Para monitorear la señal mediante audífonos o monitores, es necesario usar el plugin VST AmbiDecoder. Al monitorear mediante el canal Phones del cuarto de control, la señal es decodificada automáticamente al formato estéreo binaural.
• El cuarto de control es compatible con Ambisonics, pero con una excepción: en canales con formato Ambisonics no es posible enviar señales con el rack Cue Sends
• Para aplicar paneo en canales Ambisonics contamos con dos alternativas. Es posible utilizar el plugin VST AmbiDecoder o el plugin VST MultiPanner. Para usar este último, el canal debe ser asignado a un grupo o a un bus de salida en formato Ambisonics.
• Cubase es compatible con controladores externos tipo VR, como por ejemplo visores VR o mouses tridimensionales. Estos dispositivos permiten modificar la dirección de escucha dinámicamente, lo cual proporciona una experiencia realista de monitoreo en 360 grados.
• Además de todo lo anterior, es posible instalar plugins Ambisonics de fabricantes terceros para mezclar, convertir, detectar el movimiento de la cabeza o aplicar binauralización. Sin embargo, existe una precaución primordial al respecto. Si utilizamos un paneador Ambisonics que solo se puede cargar en las inserciones, todos los canales en la mezcla deben ser de tipo Ambisonics, inclusive si contienen audio mono o estéreo.

Ambisonics – configuración de canales en el proyecto

Por medio de Output Routing es posible asignar cualquier canal a un canal o bus Ambisonics. Las configuraciones de los canales del proyecto dependen de la ubicación del plugin de paneo en el flujo de la señal:

• Si lo ubicamos en la posición del paneador de la consola de mezcla, es posible crear canales en cualquier formato.
• Por otro lado, si lo ubicamos en las inserciones, todos los canales de la mezcla deberán tener el formato Ambisonics, inclusive si contienen audio mono o estéreo. Steinberg enfatiza esta limitación asertivamente en el manual de usuario.

Ambisonics – paneo

Para experimentar con el paneo en formato Ambisonics, lo único que se requiere es que el canal esté ruteado a un grupo o bus de salida en dicho formato. En la imagen podemos ver un ejemplo de una pista estéreo cuya salida se ha asignado a un bus de salida Ambisonics. Al hacer doble clic sobre su paneador, VST MultiPanner muestra su interfaz con la esfera de sonido tridimensional. Por defecto solo se muestra la gráfica Top View.

021-02_1609_fot02. VST MultiPanner para canal estéreo con salida Ambisonics

Para ver la graficación completa de la esfera tridimensional, es necesario presionar la flecha ubicada a la izquierda del medidor de salida, a la altura del nivel -50 dB. Este es el botón Extend Display, el cual habilita la gráfica Rear View. Al desplazar la imagen del canal estéreo mediante las perillas de la sección Positioning, es posible comprender cómo afectan el posicionamiento de la imagen en la esfera de sonido tridimensional.

021-02_1609_fot03. Paneo tridimensional en pista estéreo con salida Ambisonics

En sus perillas, los tres ejes de posicionamiento están disponibles: X, Y y Z, lo cual implica la posibilidad de posicionar la fuente de sonido según su amplitud lateral, altura y profundidad, respectivamente.

Ambisonics – monitoreo de audio

Para reproducir audio en formato Ambisonics es necesario decodificar el audio mediante el plugin VST AmbiDecoder, lo cual permite monitorear la señal mediante monitores o audífonos. Este plugin se activa automáticamente en los canales Phones y Main del cuarto de control para convertir el audio Ambisonics a formato estéreo o multicanal. Cubase inserta este plugin en la sección Channels del cuarto de control, donde podemos abrir su panel de control haciendo doble clic debajo de Head Tracking, o en el botón con forma de “e” ubicado en la sección Phones a la izquierda de la etiqueta VST AmbiDecoder.

021-02_1609_fot04. VST AmbiDecoder

Para monitorear el audio de un proyecto en formato Ambisonics, lo ideal es contar con un dispositivo VR que envíe datos de tipo Head Tracking a VST AmbiDecoder. De este modo, al mover la cabeza se modifican las propiedades de emisión de sonido en la esfera de audio tridimensional. Esto se configura accediendo a Project, y cliqueando Head Tracking.

• En la ventana Head Tracking, debemos seleccionar VR Controller en el parámetro Tracking Source para configurar un método automático de detección de movimiento de la cabeza.
• Si en lugar de ello seleccionamos Manual en Tracking Source, se hace posible determinar una posición fija mediante las perillas YAW, Pitch y Roll.
• Para seleccionar el dispositivo VR, hacemos clic en el submenú llamado VR Controller Type
• Finalmente, podemos proceder con la calibración mediante el botón Calibrate YAW, y activar la detección presionando el botón Tracking, lo cual también inicia la transmisión de datos tipo Head Tracking al reproductor VR.  

021-02_1609_fot05. Configuración de Head-Tracking para monitoreo Ambisonics con dispositivo VR

Ambisonics – reproducción de video 360º

En Cubase es posible reproducir video de 360º mediante la aplicación llamada Kolor GoPro VR Player. Se requiere su versión 3.0 o mayor. Este reproductor se puede configurar para correr localmente o en otra computadora conectada a través de una red. Cubase ofrece un control remoto para este reproductor, que se accede desde el menú Project, y seleccionando GoPro VR Player Remote. Este diálogo permite controlar las funciones de transporte del reproductor GoPro y enviarle datos de tipo Head Tracking. Para utilizar este controlador es necesario configurar la reproducción de video en el menú de preferencias del reproductor GoPro, para luego abrir el menú GoPro VR Player Remote en Cubase y configurarlo, lo cual culmina presionando el botón Connect. Para la lista completa de pasos, recomendamos consultar el manual de usuario de Cubase.

021-02_1609_fot06. Controlador para reproductor VR de GoPro

Ambisonics - demostración básica

Vamos a Cubase y veamos una breve demostración del formato Ambisonics. Este ejercicio se puede realizar en cualquier computadora ya que solamente requiere una salida estéreo para conectar los audífonos.

• Abramos el proyecto 09 ubicado en los materiales de apoyo
• En este proyecto contamos con una pista estéreo que tiene una grabación de batería.
• Para experimentar con Ambisonics primero debemos ir a Audio Connections para agregar un bus de salida de tipo Ambisonics en el tab Outputs. Paso seguido, hacemos clic contextual en este bus para designarlo como Main Mix y de tal modo designarlo como el bus de monitoreo para el cuarto de control

021-02_1609_mtf01. Bus de salida Ambisonics en Audio Connections

• Antes de cerrar Audio Connections, debemos ir al tab Control Room y configurar un bus de monitoreo estéreo para asignarle las salidas principales de nuestro sistema. También es recomendable crear el canal Phones para verificar cómo se carga VST AmbiDecoder

021-02_1609_mtf02. Configuración del tab Control Room en Audio Connections para probar el paneo Ambisonics

• Bien. Cerremos Audio Connections y vamos a la pista estéreo para hacer clic en Output Routing y seleccionar el bus de salida Ambisonics

021-02_1609_mtf03. Asignación de salida Ambisonics en la pista estéreo

• Repasemos lo que acabamos de hacer. Hemos asignado una pista estéreo a un bus Ambisonics. Dicho bus fluye hacia el cuarto de control, donde su señal es convertida de vuelta al formato estéreo mediante VST AmbiDecoder
• Ubiquemos los localizadores alrededor de un rango de varios segundos y hagamos doble clic sobre el paneador del canal para acceder a VST MultiPanner.
• En el paneador, presionemos el botón Show Extended Display
• Ahora, podemos iniciar la reproducción y utilizar todas las perillas de VST MultiPanner para ubicar la imagen estéreo en la esfera de sonido. Los cambios que mayor impacto generan son los aplicados mediante las perillas Rotation y Tilt

021-02_1609_mtf04. Experimentación de paneo en el formato Ambisonics

• Bien. Cerremos VST MultiPanner y vamos a la sección Phones del cuarto de control para presionar el botón “e” ubicado a la izquierda de VST AmbiDecoder
• Como se aprecia, el decodificador está configurado automáticamente para monitorear la señal Ambisonics en modo binaural
• Esta es una demostración básica del potencial de posicionamiento tridimensional del formato Ambisonics.

Ambisonics – exportación

Después de finalizar la mezcla en formato Ambisonics, podemos exportar el audio en el diálogo Export Audio Mixdown. Steinberg recomienda utilizar el formato Wav para ello. Antes de exportar debemos verificar que los plugins Ambisonics solo estén aplicados en el cuarto de control, y no en la sección Inserts de los canales. Cabe resaltar que aunque los archivos resultantes luzcan como archivos Wav multicanal, deben ser reproducidos mediante un reproductor Ambisonics.

Reto

Experimenta con el paneo de un canal estéreo en el formato Ambisonics de acuerdo a los pasos de la demostración anterior. Identifica las oportunidades técnicas y creativas que se generan al trabajar en este formato de mezcla. 

Tiempo recomendado: 15 minutos

Conclusión

La mezcla de audio tridimensional ofrece una amplia gama de posibilidades en el mercado moderno de producción musical e ingeniería de sonido para productos audiovisuales. Conocer y manejar las herramientas relacionadas constituye una ventaja competitiva en el ámbito profesional.