Resumen de Mejoras en extracción de URLs en smishing mediante text spotting

Pablo Blanco Medina, Rubel Biswas, Víctor González Castro, Rocío Aláiz Rodríguez, Eduardo Fidalgo Fernández, Enrique Alegre Gutiérrez

• español

  Los Equipos de Respuesta ante Emergencias Informáticas (CERT) reciben comúnmente capturas de pantalla de Smishing, que tratan de suplantar a distintos tipos de organizaciones, con el objetivo de apropiarse de información personal de usuarios o malversar fondos de sus cuentas mediante enlaces maliciosos. Los CERTs buscan soluciones automatizadas que permitan recuperar URLs de capturas de pantalla. Para extraer texto pueden utilizarse métodos basados en el reconocimiento óptico de caracteres (OCR), pero su rendimiento es bajo debido a problemas como la baja calidad de la imagen o textos divididos en múltiples frases. Proponemos un proceso para la extracción de URL de Smishing basado en técnicas de Text Spotting, complementado con una reconstrucción de URL personalizada utilizando características resaltadas en la imagen. Aplicamos la metodología propuesta a un conjunto personalizado de 244 capturas y 262 URLs, obteniendo como resultado un aumento de la precisión de reconocimiento de 3,05% a 22,90%, tras lo cual puede continuarse procesando el texto extraído en Smishing.

• English

  Computer Emergency Response Teams (CERTs) often get screenshots showcasing brief texts with doubtful content. Smishing attempts to mimic reputable organizations, urging individuals to act promptly by clicking on a link, aiming to hijack personal information or illicitly debit funds from their accounts. CERTs may find value in automated solutions that can retrieve URLs from screenshots for subsequent validation. Approaches based on Optical Character Recognizers (OCRs) could be used to extract text. However, their performance is low due to the poor performance of OCR in certain images. In this work, we propose a pipeline for Smishing URL extraction based on Text Spotting, which will later be applied to a custom URL reconstruction using highlighted features. We applied the proposed pipeline to a custom set of 117 screenshots containing 121 URLs, resulting in aprecision increase on the URL recovery task from 3,05 % to 22,90 %. This allows the original URL to be restored for subsequent processing in the analysis o fSmishing messages.