Resumen de Voice processing and synthesis by performance sampling and spectral models
Jordi Bonada Sanjaume
La voz cantada es probablemente el instrumento musical más complejo y el más rico en matices expresivos, A lo largo de varias décadas se ha dedicado mucho esfuerzo de investigación a estudiar sus propiedades acústicas y a entender los mecanismos involucrados en la producción de voz cantada, poniendo especial énfasis en sus particularidades y comparándolas con el habla. Desde la aparición de las primeras técnicas de síntesis de sonido, se ha intentado imitar dichos mecanismos y encontrar maneras de reproducirlos por medio de técnicas de procesado de señal.
El principal objetivo de esta investigación doctoral es construir un sintetizador de voz cantada capaz de reproducir la voz de un cantante determinado, que tenga su misma expresión y timbre, que suene natural, y cuyas entradas sean solamente la partitura y la letra de una canción. Éste es un objetivo muy ambicioso, y en esta tesis discutimos los principales aspectos de nuestra propuesta e identificamos las cuestiones aún sin resolver.
Esta tesis contribuye substancialmente al campo de la síntesis de voz cantada: a) realiza una revisión crítica de los métodos de procesado espectral para modelado de voz cantada, y aporta importantes contribuciones al estado del arte; g) aplica las técnicas propuestas a otros contextos tales transformación de voz a tiempo real, instalaciones de museos o videojuegos; c) desarrolla el concepto de síntesis basada en muestreo de interpretaciones como una manera de modelar el espacio sonoro producido por un intérprete con un instrumento determinado, centrándose en el caso específico de la voz cantada; d) propone e implementa un sistema completo para la síntesis de voz cantada; e) explora el espacio sonora de la voz cantada y propone un procedimiento general para modelarlo; f) discute los aspectos involucrados en la creación de la base de datos del cantante y proporciona herramientas para automatizar su creación; g) realiza una evaluación cualitativa de la voz sintética, comparándola al estado del arte y a cantantes reales; h) implementa los resultados de la investigación en un programa informático optimizado dedicado al análisis, modelado, transformación y síntesis de la voz cantada, incluyendo herramientas para la creación de la base de datos del cantante; i) una parte importante de esta investigación se ha incorporado en un sintetizador comercial de voz cantada desarrollado por Yamaha Corp.
