Análisis de características acústicas de la voz para la detección ligera de deepfakes de audio: revisión sistemática y estudio experimental
- Autores: Sergio Adrián Falcón López
- Directores de la Tesis: Llanos Tobarra Abad (dir. tes.), Antonio Robles Gómez (codir. tes.)
- Lectura: En la UNED. Universidad Nacional de Educación a Distancia ( España ) en 2026
- Idioma: español
- Número de páginas: 219
- Tribunal Calificador de la Tesis: Jose Luis Martinez Martinez (presid.), Sergio Moreno Álvarez (secret.), Javier Prieto Tejedor (voc.)
- Programa de doctorado: Programa de Doctorado en Tecnologías Industriales por la Universidad Nacional de Educación a Distancia
- Calificación: Sobresaliente Cum Laude
- Materias:
- Enlaces
- Tesis en acceso abierto en: TESEO
- Resumen
- español
La proliferación de la inteligencia artificial en estos tiempos ha hecho que el uso de deepfakes se haya convertido en una verdadera amenaza para la seguridad. Por ello, se hace necesario el desarrollo de herramientas que ayuden a mitigar las amenazas derivadas del uso de este tipo de contenido multimedia manipulado. Con la idea de desarrollar un detector de deepfake de audio que sea capaz de ejecutarse en dispositivos de bajo cómputo, en este trabajo se realiza una revisión sistemática para encontrar la brecha existente en el uso de método ligeros de detección de deepfakes de audio, el empleo de conjuntos reducidos de características, una evaluación comparable del rendimiento así como un análisis experimental al cambiar de repositorio. En este caso se ha obtenido un conjunto reducido de 9 características mediante la combinación de diferentes familias, que permiten obtener un Equal Error Rate (EER) inferior al 10% y un recall superior al 80% en modelos tradicionales de machine learning (Random Forest, Linear SVC, K-Nearest Neighbors, Extreme Gradient Boosting y SVM con kernel RBF) cuando se entrenan y evalúan en el mismo repositorio (WaveFake, ASVspoof2019, In-the-Wild y FoR). Además, se estudia el comportamiento al entrenar en un repositorio y evaluar en otros distintos, así como también se lleva a cabo una validación cruzada por repositorios, dejando uno fuera en cada iteración, observándose una degradación notable del rendimiento e incluso casos de inversión en la puntuación de algún clasificador, lo que confirma la presencia de diferencias relevantes entre repositorios y delimita el alcance del sistema propuesto. Finalmente, se analiza el coste computacional midiendo la latencia de inferencia, el tiempo de entrenamiento y la memoria para distintas dimensiones de entrada (109, 30 y 9 características), mostrando el impacto directo de la reducción de características en la viabilidad de despliegue en dispositivos con pocos recursos.
- English
Nowadays, the rapid growth of artificial intelligence has made deepfakes a real security threat. For this reason, it is necessary to develop tools that help reduce the risks caused by this type of manipulated multimedia content. With the goal of building an audio deepfake detector that can run on low-compute devices, this work presents a systematic literature review to identify the existing gap in lightweight audio deepfake detection methods, the use of small feature sets, a comparable performance evaluation, and an experimental analysis when changing the dataset. In this work, a compact set of 9 features is obtained by combining different feature families. This set achieves an EER below 10% and a recall above 80% with traditional machine learning models (Random Forest, Linear SVC, K-Nearest Neighbors, Extreme Gradient Boosting and an RBF-kernel SVM) when training and testing on the same dataset (WaveFake, ASVspoof2019, In-the-Wild and FoR). In addition, we study what happens when training on one dataset and testing on different ones, as well as under a Leave-One-Dataset-Out protocol. The results show a clear drop in performance and even cases where the classifier score is inverted. This confirms that there are important differences between datasets and it defines the limits of the proposed system. Finally, we analyze the computational cost by measuring inference latency, training time and memory usage for different input sizes (109, 30 and 9 features), showing the direct impact of feature reduction on deployment on resource-limited devices.
- español
