En la era digital actual, el creciente uso de aplicaciones móviles presenta un desafío considerable en términos de análisis y comprensión de interacciones humano-dispositivo. Esta tesis se enfoca en dos aspectos cruciales de este análisis: la detección de acciones en videos de interacciones y la agrupación de pantallas en conjuntos semánticamente similares. Para abordar estos desafíos, se emplean técnicas avanzadas de procesamiento de imágenes y aprendizaje profundo. Por un lado, se utilizan redes convolucionales 2D y 3D para detectar acciones especificas con precisión. Por otro lado, se propone un enfoque innovador que combina clustering sobre modelos de clasificación de imágenes, de detección de componentes y de traducción de imagen a texto para agrupar los frames de video en conjuntos que compartan características visuales y semánticas similares. Estas contribuciones tienen el potencial de impulsar avances significativos en campos como la inteligencia artificial y la visión por computadora, así como mejorar la comprensión de las interacciones usuario-dispositivo en entornos móviles.