Gestión de calidad de datos en arquitecturas de Big Data.

Cortés Lasalle, Carolina

Resumen:

El término “Big Data” (BD) hace referencia a grandes colecciones de datos heterogéneos, que se generan a altas velocidades (Marotta y Serra, s.f.). Hoy en día, estas colecciones de datos son utilizadas por herramientas de Analítica Avanzada (AA) y Business Intelligence (BI) (B. Inmon, Levins, y Srivastava, 2021). A lo largo de los años han surgido distintos sistemas para soportar los diversos requisitos de análisis de los datos en BD, como Data Warehouses (DW) y Data Lakes (DL). Sin embargo, ninguno de estos sistemas logra brindar soporte para herramientas de AA y BI, a la vez (B. Inmon y cols., 2021; Marotta y Serra, s.f.). Es por esto que en la actualidad, la comunidad académica busca hacer una transición a una nueva arquitectura de análisis de BD, denominada “Data Lakehouse”, la cual logra integrar las capacidades de DW y DL en un mismo sistema unificado. Sin embargo, actualmente no existe una arquitectura establecida para este sistema, como sí existen para los DW y DL (Armbrust, Ghodsi, Xin, y Zaharia, 2021; B. Inmon y cols., 2021). Por otro lado, debido al volumen de datos de BD y los distintos requerimientos de análisis impuestos por diferentes usuarios, la gestión de la calidad de datos cobra un papel sumamente relevante en estas arquitecturas y su gestión debe adaptarse a toda la variabilidad que estas presentan. En la actualidad no existen técnicas o metodologías globalmente aceptadas, que sean específicas para la gestión de calidad de datos en arquitecturas de este tipo (Ravat y Zhao, 2019a; Armbrust y cols., 2021; Zouari, Kabachi, Boukadi, y Ghedira Guegan, 2021; Nargesian, Zhu, Miller, Pu, y Arocena, 2019). En respuesta a estas problemáticas, este trabajo propone una arquitectura genérica de BD que logre combinar las capacidades de DW y DL, incorporando la gestión de calidad de datos dentro de la misma. A su vez, para verificar la factibilidad técnica y tecnológica de la propuesta, se desarrolló un prototipo reducido de la arquitectura propuesta.

Detalles Bibliográficos
2024
Data warehouse
Big Data
Data Lake
Data Lakehouse
Calidad de datos
Español
Universidad de la República
COLIBRI
https://hdl.handle.net/20.500.12008/45647
Acceso abierto
Licencia Creative Commons Atribución (CC - By 4.0)