Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo

Gómez Sena, Gabriel Pablo - Martinez Tagliafico, Sergio Andres - García González, Gastón Darío - Fernandez Pardo, Alicia

Resumen:

La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados.


Detalles Bibliográficos
2022
Agencia Nacional de Investigación e Innovación
Detección de anomalias
Aprendizaje continuo
Big data telecomunicaciones
Ingeniería y Tecnología
Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información
Telecomunicaciones
Español
Agencia Nacional de Investigación e Innovación
REDI
https://hdl.handle.net/20.500.12381/3135
Acceso abierto
Reconocimiento 4.0 Internacional. (CC BY)
_version_ 1814959267037315072
author Gómez Sena, Gabriel Pablo
author2 Martinez Tagliafico, Sergio Andres
García González, Gastón Darío
Fernandez Pardo, Alicia
author2_role author
author
author
author_facet Gómez Sena, Gabriel Pablo
Martinez Tagliafico, Sergio Andres
García González, Gastón Darío
Fernandez Pardo, Alicia
author_role author
bitstream.checksum.fl_str_mv 11c6a2cb8fe00e617597f6f03a5faaae
bitstream.checksumAlgorithm.fl_str_mv MD5
bitstream.url.fl_str_mv https://redi.anii.org.uy/jspui/bitstream/20.500.12381/3135/1/Informe_final_publicable_FMV_1_2019_1_155850.pdf
collection REDI
dc.creator.none.fl_str_mv Gómez Sena, Gabriel Pablo
Martinez Tagliafico, Sergio Andres
García González, Gastón Darío
Fernandez Pardo, Alicia
dc.date.accessioned.none.fl_str_mv 2023-01-12T18:20:51Z
dc.date.available.none.fl_str_mv 2023-01-12T18:20:51Z
dc.date.issued.none.fl_str_mv 2022-11-04
dc.description.abstract.none.fl_txt_mv La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados.
dc.description.sponsorship.none.fl_txt_mv Agencia Nacional de Investigación e Innovación
dc.identifier.anii.es.fl_str_mv FMV_1_2019_1_155850
dc.identifier.uri.none.fl_str_mv https://hdl.handle.net/20.500.12381/3135
dc.language.iso.none.fl_str_mv spa
dc.publisher.es.fl_str_mv Agencia Nacional de Investigación e Innovación
dc.relation.es.fl_str_mv https://hdl.handle.net/20.500.12008/25926
https://hdl.handle.net/20.500.12008/25470
https://hdl.handle.net/20.500.12008/25478
https://hdl.handle.net/20.500.12008/31392
https://hdl.handle.net/20.500.12008/34255
https://hdl.handle.net/20.500.12008/25395
dc.rights.es.fl_str_mv Acceso abierto
dc.rights.license.none.fl_str_mv Reconocimiento 4.0 Internacional. (CC BY)
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
dc.source.none.fl_str_mv reponame:REDI
instname:Agencia Nacional de Investigación e Innovación
instacron:Agencia Nacional de Investigación e Innovación
dc.subject.anii.none.fl_str_mv Ingeniería y Tecnología
Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información
Telecomunicaciones
dc.subject.es.fl_str_mv Detección de anomalias
Aprendizaje continuo
Big data telecomunicaciones
dc.title.none.fl_str_mv Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
dc.type.es.fl_str_mv Reporte técnico
dc.type.none.fl_str_mv info:eu-repo/semantics/report
dc.type.version.es.fl_str_mv Aceptado
dc.type.version.none.fl_str_mv info:eu-repo/semantics/acceptedVersion
description La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados.
eu_rights_str_mv openAccess
format report
id REDI_622d99ab6334eb9de9018970c3d48eb9
identifier_str_mv FMV_1_2019_1_155850
instacron_str Agencia Nacional de Investigación e Innovación
institution Agencia Nacional de Investigación e Innovación
instname_str Agencia Nacional de Investigación e Innovación
language spa
network_acronym_str REDI
network_name_str REDI
oai_identifier_str oai:redi.anii.org.uy:20.500.12381/3135
publishDate 2022
reponame_str REDI
repository.mail.fl_str_mv jmaldini@anii.org.uy
repository.name.fl_str_mv REDI - Agencia Nacional de Investigación e Innovación
repository_id_str 9421
rights_invalid_str_mv Reconocimiento 4.0 Internacional. (CC BY)
Acceso abierto
spelling Reconocimiento 4.0 Internacional. (CC BY)Acceso abiertoinfo:eu-repo/semantics/openAccess2023-01-12T18:20:51Z2023-01-12T18:20:51Z2022-11-04https://hdl.handle.net/20.500.12381/3135FMV_1_2019_1_155850La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados.Agencia Nacional de Investigación e InnovaciónspaAgencia Nacional de Investigación e Innovaciónhttps://hdl.handle.net/20.500.12008/25926https://hdl.handle.net/20.500.12008/25470https://hdl.handle.net/20.500.12008/25478https://hdl.handle.net/20.500.12008/31392https://hdl.handle.net/20.500.12008/34255https://hdl.handle.net/20.500.12008/25395Detección de anomaliasAprendizaje continuoBig data telecomunicacionesIngeniería y TecnologíaIngeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la InformaciónTelecomunicacionesInforme final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuoReporte técnicoAceptadoinfo:eu-repo/semantics/acceptedVersioninfo:eu-repo/semantics/reportUniversidad de la República. Facultad de Ingeniería//Ingeniería y Tecnología/Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información/Telecomunicacionesreponame:REDIinstname:Agencia Nacional de Investigación e Innovacióninstacron:Agencia Nacional de Investigación e InnovaciónGómez Sena, Gabriel PabloMartinez Tagliafico, Sergio AndresGarcía González, Gastón DaríoFernandez Pardo, AliciaORIGINALInforme_final_publicable_FMV_1_2019_1_155850.pdfInforme_final_publicable_FMV_1_2019_1_155850.pdfapplication/pdf122407https://redi.anii.org.uy/jspui/bitstream/20.500.12381/3135/1/Informe_final_publicable_FMV_1_2019_1_155850.pdf11c6a2cb8fe00e617597f6f03a5faaaeMD5120.500.12381/31352023-01-17 15:49:07.579oai:redi.anii.org.uy:20.500.12381/3135Gobiernohttps://www.anii.org.uy/https://redi.anii.org.uy/oai/requestjmaldini@anii.org.uyUruguayopendoar:94212023-01-17T18:49:07REDI - Agencia Nacional de Investigación e Innovaciónfalse
spellingShingle Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
Gómez Sena, Gabriel Pablo
Detección de anomalias
Aprendizaje continuo
Big data telecomunicaciones
Ingeniería y Tecnología
Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información
Telecomunicaciones
status_str acceptedVersion
title Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
title_full Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
title_fullStr Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
title_full_unstemmed Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
title_short Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
title_sort Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
topic Detección de anomalias
Aprendizaje continuo
Big data telecomunicaciones
Ingeniería y Tecnología
Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información
Telecomunicaciones
url https://hdl.handle.net/20.500.12381/3135