Deep-tempest : Aprendizaje profundo para reconstrucción de imágenes obtenidas de emanaciones electromagnéticas en monitores HDMI

Fernández, Santiago - Martínez, Emilio - Varela, Gabriel

Supervisor(es): Larroca, Federico - Musé, Pablo

Resumen:

Con el uso universal del aprendizaje profundo o deep learning en la mayoría de aplicaciones en la ingeniería, ciencia y también en la vida cotidiana, es natural que surja la siguiente pregunta: ¿es posible también aplicar deep learning en el espionaje? La respuesta es sí, y en este trabajo se toma como foco de análisis las señales electromagnéticas involuntarias producidas por dispositivos electrónicos. El espionaje de este tipo de señales es conocido como “TEMPEST”. En este trabajo, se interceptan en particular las señales producidas por el cable utilizado en el popular protocolo High-Definition Multimedia Interface (HDMI) para audio y video. En este proyecto llamado “deep-tempest” se realiza como prueba de concepto el ejercicio de reconstruir imágenes espiadas a monitores, donde se utiliza una antena como medio para capturar e inferir las imágenes visualizadas en el monitor. Con ese objetivo en mente, se utilizan redes profundas convolucionales para mejorar la visualización de imágenes espiadas a monitores, los cuales se conectan a una computadora mediante cable HDMI. El trabajo extiende el proyecto “gr-tempest” que con el simple uso de una antena, un SDR (Software Defined Radio) y el framework de software libre de GNU Radio permite interceptar una imagen similar a la desplegada en el monitor espiado, pero siendo esta una versión de menor calidad debido a las características de la transmisión HDMI y la degradación por el proceso de captura. En el trabajo se modela la degradación de la imagen al ser interceptada y se desarrollan métodos de reconstrucción de las imágenes para luego ser comparados mediante métricas de desempeño, con especial énfasis en la recuperación de texto. Se alcanzan resultados sustancialmente superiores al trabajo que precede a este. En particular para el reconocimiento de texto mediante Optical Character Recognition (OCR) se superan los trabajos anteriores en un 61% del reconocimiento de letras presentes en las imágenes capturadas. Los resultados obtenidos del espionaje sirven para concientizar los posibles peligros del uso de monitores con este tipo de cable. Tanto el código desarrollado como la base de datos construida quedan a libre disposición para cualquier trabajo posterior. A su vez, también en se mencionan contramedidas a las que puede recurrir un usuario de computadora para protegerse de estos métodos, evitando la usurpación de posible información sensible de la persona (mensajes privados, contraseñas, etc).


Detalles Bibliográficos
2023
TEMPEST
Emanaciones Electromagnéticas Involuntarias
Software Defined Radio
Espionaje
Aprendizaje Profundo
Contramedidas de Protección
Español
Universidad de la República
COLIBRI
https://hdl.handle.net/20.500.12008/42004
Acceso abierto
Licencia Creative Commons Atribución - No Comercial - Sin Derivadas (CC - By-NC-ND 4.0)