Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo
Resumen:
La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados.
2022 | |
Agencia Nacional de Investigación e Innovación | |
Detección de anomalias Aprendizaje continuo Big data telecomunicaciones Ingeniería y Tecnología Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información Telecomunicaciones |
|
Español | |
Agencia Nacional de Investigación e Innovación | |
REDI | |
https://hdl.handle.net/20.500.12381/3135 | |
Acceso abierto | |
Reconocimiento 4.0 Internacional. (CC BY) |
_version_ | 1814959267037315072 |
---|---|
author | Gómez Sena, Gabriel Pablo |
author2 | Martinez Tagliafico, Sergio Andres García González, Gastón Darío Fernandez Pardo, Alicia |
author2_role | author author author |
author_facet | Gómez Sena, Gabriel Pablo Martinez Tagliafico, Sergio Andres García González, Gastón Darío Fernandez Pardo, Alicia |
author_role | author |
bitstream.checksum.fl_str_mv | 11c6a2cb8fe00e617597f6f03a5faaae |
bitstream.checksumAlgorithm.fl_str_mv | MD5 |
bitstream.url.fl_str_mv | https://redi.anii.org.uy/jspui/bitstream/20.500.12381/3135/1/Informe_final_publicable_FMV_1_2019_1_155850.pdf |
collection | REDI |
dc.creator.none.fl_str_mv | Gómez Sena, Gabriel Pablo Martinez Tagliafico, Sergio Andres García González, Gastón Darío Fernandez Pardo, Alicia |
dc.date.accessioned.none.fl_str_mv | 2023-01-12T18:20:51Z |
dc.date.available.none.fl_str_mv | 2023-01-12T18:20:51Z |
dc.date.issued.none.fl_str_mv | 2022-11-04 |
dc.description.abstract.none.fl_txt_mv | La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados. |
dc.description.sponsorship.none.fl_txt_mv | Agencia Nacional de Investigación e Innovación |
dc.identifier.anii.es.fl_str_mv | FMV_1_2019_1_155850 |
dc.identifier.uri.none.fl_str_mv | https://hdl.handle.net/20.500.12381/3135 |
dc.language.iso.none.fl_str_mv | spa |
dc.publisher.es.fl_str_mv | Agencia Nacional de Investigación e Innovación |
dc.relation.es.fl_str_mv | https://hdl.handle.net/20.500.12008/25926 https://hdl.handle.net/20.500.12008/25470 https://hdl.handle.net/20.500.12008/25478 https://hdl.handle.net/20.500.12008/31392 https://hdl.handle.net/20.500.12008/34255 https://hdl.handle.net/20.500.12008/25395 |
dc.rights.es.fl_str_mv | Acceso abierto |
dc.rights.license.none.fl_str_mv | Reconocimiento 4.0 Internacional. (CC BY) |
dc.rights.none.fl_str_mv | info:eu-repo/semantics/openAccess |
dc.source.none.fl_str_mv | reponame:REDI instname:Agencia Nacional de Investigación e Innovación instacron:Agencia Nacional de Investigación e Innovación |
dc.subject.anii.none.fl_str_mv | Ingeniería y Tecnología Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información Telecomunicaciones |
dc.subject.es.fl_str_mv | Detección de anomalias Aprendizaje continuo Big data telecomunicaciones |
dc.title.none.fl_str_mv | Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo |
dc.type.es.fl_str_mv | Reporte técnico |
dc.type.none.fl_str_mv | info:eu-repo/semantics/report |
dc.type.version.es.fl_str_mv | Aceptado |
dc.type.version.none.fl_str_mv | info:eu-repo/semantics/acceptedVersion |
description | La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados. |
eu_rights_str_mv | openAccess |
format | report |
id | REDI_622d99ab6334eb9de9018970c3d48eb9 |
identifier_str_mv | FMV_1_2019_1_155850 |
instacron_str | Agencia Nacional de Investigación e Innovación |
institution | Agencia Nacional de Investigación e Innovación |
instname_str | Agencia Nacional de Investigación e Innovación |
language | spa |
network_acronym_str | REDI |
network_name_str | REDI |
oai_identifier_str | oai:redi.anii.org.uy:20.500.12381/3135 |
publishDate | 2022 |
reponame_str | REDI |
repository.mail.fl_str_mv | jmaldini@anii.org.uy |
repository.name.fl_str_mv | REDI - Agencia Nacional de Investigación e Innovación |
repository_id_str | 9421 |
rights_invalid_str_mv | Reconocimiento 4.0 Internacional. (CC BY) Acceso abierto |
spelling | Reconocimiento 4.0 Internacional. (CC BY)Acceso abiertoinfo:eu-repo/semantics/openAccess2023-01-12T18:20:51Z2023-01-12T18:20:51Z2022-11-04https://hdl.handle.net/20.500.12381/3135FMV_1_2019_1_155850La detección de anomalías se aplica a múltiples contextos y es particularmente relevante en las redes de telecomunicaciones. Los sistemas usuales de monitoreo permiten detectar fallas en los equipos o enlaces, pero es menos común disponer de capacidad para detectar la degradación de la performance de un servicio o posibles intentos de ataque o fraude. El crecimiento y la complejidad de los servicios de telecomunicaciones actuales, requiere el análisis de múltiples fuentes de información. El tráfico de las interfaces de un enrutador, la cantidad de mensajes cursados por un equipo, la cantidad de llamadas, son ejemplos de variables relevantes a analizar. Actualmente existen plataformas que permiten almacenar y analizar grandes volúmenes de datos (Big Data) que representan una oportunidad para incorporar analítica de detección de anomalías sobre grandes volúmenes de información. Los datos de monitoreo de red generalmente consisten en cientos de contadores recopilados periódicamente en forma de series de tiempo, lo que resulta en un proceso multivariable (MTS) complejo de analizar. Los métodos tradicionales de detección de anomalías de series de tiempo tienen como objetivo el análisis de series de tiempo univariado, lo que hace que el análisis multivariante sea engorroso y prohibitivamente complejo cuando se trata de datos MTS. En el proyecto se propuso un enfoque novedoso para la detección de anomalías en datos MTS, que aprovecha las redes neuronales convolucionales (CNN) y los variational autoencoders (VAEs). Lo que permite detectar anomalías en los datos de MTS a través de un solo modelo, explotando la información temporal sin sacrificar recursos computacionales y de memoria. En particular, en lugar de utilizar redes neuronales recursivas, grandes filtros causales o muchas capas, el algoritmo propuesto se basa en convoluciones dilatadas (DC) para capturar fenómenos a largo y corto plazo en los datos, evitando arquitecturas profundas complejas y menos eficientes, simplificando así el aprendizaje. Se evaluó la detección de anomalías en el conjunto de datos TELCO, un conjunto de datos de monitoreo de red multidimensional a gran escala recopilado en Telefónica Uruguay, donde los eventos anómalos se detectaron manualmente. etiquetados por expertos durante un lapso de tiempo de siete meses, con una granularidad de cinco minutos. Usando este conjunto de datos, comparamos el desempeño con un amplio conjunto de detectores de anomalías de series temporales tradicionales provenientes de los dominios de procesamiento de señales y aprendizaje automático. Se evaluó también la capacidad de detección de cambios en el punto de operación y detección de "concept drift". En aras de la reproducibilidad y como contribución adicional, se pondrá a disposición de la comunidad el conjunto de datos TELCO, con la autorización de Telefónica y se publicara en forma abierta el código de los algoritmos implementados.Agencia Nacional de Investigación e InnovaciónspaAgencia Nacional de Investigación e Innovaciónhttps://hdl.handle.net/20.500.12008/25926https://hdl.handle.net/20.500.12008/25470https://hdl.handle.net/20.500.12008/25478https://hdl.handle.net/20.500.12008/31392https://hdl.handle.net/20.500.12008/34255https://hdl.handle.net/20.500.12008/25395Detección de anomaliasAprendizaje continuoBig data telecomunicacionesIngeniería y TecnologíaIngeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la InformaciónTelecomunicacionesInforme final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuoReporte técnicoAceptadoinfo:eu-repo/semantics/acceptedVersioninfo:eu-repo/semantics/reportUniversidad de la República. Facultad de Ingeniería//Ingeniería y Tecnología/Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información/Telecomunicacionesreponame:REDIinstname:Agencia Nacional de Investigación e Innovacióninstacron:Agencia Nacional de Investigación e InnovaciónGómez Sena, Gabriel PabloMartinez Tagliafico, Sergio AndresGarcía González, Gastón DaríoFernandez Pardo, AliciaORIGINALInforme_final_publicable_FMV_1_2019_1_155850.pdfInforme_final_publicable_FMV_1_2019_1_155850.pdfapplication/pdf122407https://redi.anii.org.uy/jspui/bitstream/20.500.12381/3135/1/Informe_final_publicable_FMV_1_2019_1_155850.pdf11c6a2cb8fe00e617597f6f03a5faaaeMD5120.500.12381/31352023-01-17 15:49:07.579oai:redi.anii.org.uy:20.500.12381/3135Gobiernohttps://www.anii.org.uy/https://redi.anii.org.uy/oai/requestjmaldini@anii.org.uyUruguayopendoar:94212023-01-17T18:49:07REDI - Agencia Nacional de Investigación e Innovaciónfalse |
spellingShingle | Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo Gómez Sena, Gabriel Pablo Detección de anomalias Aprendizaje continuo Big data telecomunicaciones Ingeniería y Tecnología Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información Telecomunicaciones |
status_str | acceptedVersion |
title | Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo |
title_full | Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo |
title_fullStr | Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo |
title_full_unstemmed | Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo |
title_short | Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo |
title_sort | Informe final del proyecto: Detección de anomalías en sistemas de telecomunicaciones mediante métodos de aprendizaje continuo |
topic | Detección de anomalias Aprendizaje continuo Big data telecomunicaciones Ingeniería y Tecnología Ingeniería Eléctrica, Ingeniería Electrónica e Ingeniería de la Información Telecomunicaciones |
url | https://hdl.handle.net/20.500.12381/3135 |