Preprocesado de imagen y OCR para mejorar deteccion de smishing

• Blanco Medina, Pablo ^[1] ; Carofilis, Andrés ^[1] ; Fidalgo, Eduardo ^[1] ; Alegre, Enrique ^[1]
  1. [1] Universidad de León

     Universidad de León

     León, España

     
• Localización: Jornadas de Automática, ISSN-e 3045-4093, Nº. 45, 2024
• Idioma: español
• Títulos paralelos:
  • Enhancing CERT Smishing Response through Automatic SMS Screenshot URL Extraction
• Enlaces
  • Texto completo
• Resumen
  • español

    La globalización de las tecnologías de comunicación ha llevado a un aumento de las estafas mediante técnicas de phishing. Los Equipos de Respuesta ante Emergencias Informáticas (CERTs) reciben capturas de pantalla enviadas por usuarios cuyos smartphones reciben mensajes sospechosos. Estos SMS tratan de suplantar compañías conocidas para persuadir a sus usuarios de tomar acciones urgentes, robando sus datos o realizando acciones no autorizadas en sus cuentas bancarias. Estos mensajes se conocen como Smishing, y los CERTs están interesados en herramientas que permitan automatizar la extracción de URLs en capturas de pantalla para verificar si contienen phishing. En este trabajo, proponemos una estrategia de extracción de URLs de capturas de pantalla que combinan técnicas tradicionales de visión artificial, como preprocesado y operaciones morfológicas, con mecanismos de detección y reconocimiento de URL para recuperar las URLs sospechosas. Evaluando nuestra propuesta en 117 capturas de Smishing que contienen 121 URLs, logramos una precisión del 61.16% en la recuperación de URLs en mensajes Smishing.

  • English

    The globalization of communication technologies has led to an increase in the number of scams through phishing. Computer Emergency Response Teams receive screenshots of smartphones from citizens containing short messages with suspicious messages. These SMS try to impersonate well-known companies and persuade users to take urgent action through a URL to steal their data or make unauthorized charges to their bank account. These short messages are called Smishing, and CERTs could be interested in tools that can automatically extract the URLs from these screenshots to verify later if it is a phishing URL. In this work, we propose a pipeline for Smishing URL extraction from the screenshots that CERTs may receive. We have combined traditional computer vision techniques, such as preprocessing or morphological operations, with an OCR to recognize the suspicious URLs. We have used our pipeline to 117 screenshots of Smishing messages containing 121 URLs, achieving an accuracy of 61,16 % retrieving complete URLs from Smishing screenshots.