Comparación de particiones en aprendizaje automático no supervisado

González, Meliza

Supervisor(es): Bourel, Mathias - Ghattas, Badih - Robledo Amoza, Franco

Resumen:

En esta tesis se presenta un estudio sobre índices de comparación de particiones de un mismo conjunto de datos, utilizados para la evaluación externa de los resultados de métodos de clasificación no supervisada. Se elabora un estado del arte en cuanto a los índices existentes y sus propiedades y se calculan algunos de los más conocidos sobre datos simulados a modo de ejemplo. Este trabajo se centra en el índice Mínimo Error de Clasificación (MCE, por su sigla en inglés), medida basada en la tabla de contingencia de dos particiones. Se estudia y profundiza sobre sus propiedades y en especial su distribución. Se establece la expresión analítica de la función de distribución teórica para el caso de la comparación de dos particiones independientes, con dos clases balanceadas. Algunas propiedades demostradas pudieron extenderse para el caso de tres clases y para el caso general. También se estudian las propiedades de la distribución empírica sobre datos simulados, variando algunos parámetros experimentales, y mostramos una aplicación sobre un conjunto de datos supervisados reales de imágenes de dígitos escritos a manos, conocido como MNIST. En este último caso, planteamos el problema de clasificación no supervisada y la validación externa de los resultados basada en nuestro índice se realiza comparándolos con la verdadera etiqueta de los datos. Los resultados del MCE se comparan con otros índices de validación externa mediante correlaciones y en distintos escenarios. Finalmente, a partir de la distribución del índice, se diseña un test de hipótesis que permite contrastar si dos particiones son independientes. El desempeño de la prueba se evalúa calculando los errores de tipo I y II obtenidos con datos simulados artificialmente.


Detalles Bibliográficos
2018
Comparación de particiones
Índices de valoración externa
Error de clasificación
Análisis de cluster
Aprendizaje no supervisado
Español
Universidad de la República
COLIBRI
https://hdl.handle.net/20.500.12008/21101
Acceso abierto
Licencia Creative Commons Atribución – No Comercial – Sin Derivadas (CC-BY-NC-ND)
Resumen:
Sumario:En esta tesis se presenta un estudio sobre índices de comparación de particiones de un mismo conjunto de datos, utilizados para la evaluación externa de los resultados de métodos de clasificación no supervisada. Se elabora un estado del arte en cuanto a los índices existentes y sus propiedades y se calculan algunos de los más conocidos sobre datos simulados a modo de ejemplo. Este trabajo se centra en el índice Mínimo Error de Clasificación (MCE, por su sigla en inglés), medida basada en la tabla de contingencia de dos particiones. Se estudia y profundiza sobre sus propiedades y en especial su distribución. Se establece la expresión analítica de la función de distribución teórica para el caso de la comparación de dos particiones independientes, con dos clases balanceadas. Algunas propiedades demostradas pudieron extenderse para el caso de tres clases y para el caso general. También se estudian las propiedades de la distribución empírica sobre datos simulados, variando algunos parámetros experimentales, y mostramos una aplicación sobre un conjunto de datos supervisados reales de imágenes de dígitos escritos a manos, conocido como MNIST. En este último caso, planteamos el problema de clasificación no supervisada y la validación externa de los resultados basada en nuestro índice se realiza comparándolos con la verdadera etiqueta de los datos. Los resultados del MCE se comparan con otros índices de validación externa mediante correlaciones y en distintos escenarios. Finalmente, a partir de la distribución del índice, se diseña un test de hipótesis que permite contrastar si dos particiones son independientes. El desempeño de la prueba se evalúa calculando los errores de tipo I y II obtenidos con datos simulados artificialmente.