Detección de anomalías en series multivariable con modelos generativos.
La detección de anomalías es un campo de estudio relevante para muchas aplicaciones y contextos. En el monitoreo de sistemas, la recopilación de múltiples variables es esencial para tener un conocimiento del estado del sistema y resolver a tiempo eventuales problemas. Un análisis eficiente de anomal...
Saved in:
| Main Author: | |
|---|---|
| Format: | masterThesis |
| Language: | Spanish |
| Published: |
2020
|
| Subjects: | |
| Online Access: | https://hdl.handle.net/20.500.12008/25395 |
| Tags: |
No Tags, Be the first to tag this record!
|
| _version_ | 1868889971320946688 |
|---|---|
| author | García González, Gastón |
| author_browse | García González, Gastón |
| author_facet | García González, Gastón |
| author_role | author |
| collection | COLIBRI |
| dc.contributor.none.fl_str_mv | García González Gastón, Universidad de la República (Uruguay). Facultad de Ingeniería. |
| dc.creator.none.fl_str_mv | García González, Gastón |
| dc.date.none.fl_str_mv | 2020-09-28T19:37:46Z 2020-09-28T19:37:46Z 2020 |
| dc.format.none.fl_str_mv | 77 p. application/pdf |
| dc.identifier.none.fl_str_mv | García González, G. Detección de anomalías en series multivariable con modelos generativos [en línea].Tesis de maestría. Montevideo : Udelar. FI. IIE., 2020. 1688-2806 https://hdl.handle.net/20.500.12008/25395 |
| dc.language.none.fl_str_mv | es spa |
| dc.publisher.none.fl_str_mv | Udelar.FI. |
| dc.rights.none.fl_str_mv | info:eu-repo/semantics/openAccess Licencia Creative Commons Atribución - No Comercial - Sin Derivadas (CC - By-NC-ND 4.0) |
| dc.source.none.fl_str_mv | reponame:COLIBRI instname:Universidad de la República instacron:Universidad de la República |
| dc.subject.none.fl_str_mv | Detección de anomalías Series multivariables Modelos generativos Análisis de datos Aprendizaje profundo Reconocimiento de patrones Big data |
| dc.title.none.fl_str_mv | Detección de anomalías en series multivariable con modelos generativos. |
| dc.type.none.fl_str_mv | Tesis de maestría info:eu-repo/semantics/masterThesis info:eu-repo/semantics/acceptedVersion |
| description | La detección de anomalías es un campo de estudio relevante para muchas aplicaciones y contextos. En el monitoreo de sistemas, la recopilación de múltiples variables es esencial para tener un conocimiento del estado del sistema y resolver a tiempo eventuales problemas. Un análisis eficiente de anomalías puede ser útil para detectar problemas de rendimiento, fallas, ataques externos e intentos de fraude. Aunque la detección de anomalías en series temporales es un área de investigación madura, la aparición de grandes plataformas de datos que permiten el procesamiento de cantidades masivas y diversas de datos, junto con la reciente gran exploración científica de nuevas herramientas para aplicación de aprendizaje profundo, plantean nuevas oportunidades y desafíos para investigar en el tema. En particular, la detección de anomalías en series multivariables es un desafío, ya que generalmente los métodos de detección tiene dos esquemas: el análisis univariable, ejecutando un detector independiente para cada serie de tiempo, o el análisis multivariable, tomando a cada instante de tiempo de manera independiente. En este trabajo se plantea la idea de monitorear todas las series de un sistema con un solo modelo teniendo en cuenta la relación temporal. Para esto se recurrió al uso de modelos generativos no-supervisados basados en redes neuronales, los cuales han demostrado una gran capacidad para aprender la distribución de datos complejos. Además, el uso de estas herramientas ayudan a resolver otros dos grandes problemas en la detección de anomalías que son: el alto desequilibrio entre los datos normales y anómalos, y la falta de etiquetas para fines de aprendizaje y validación. Se implementaron dos métodos, el primero basado en el error de reconstrucción utilizando Varationals Auto-Encoders (VAE), y el segundo utilizando redes recurrentes entrenadas bajo el enfoque de las Generative Adversarial Networks (GAN), explotando no solo las propiedades generativas, sino también las discriminativas. Como un aporte importante con respecto al estado del arte, en este trabajo se logra visualizar tanto la capacidad de detección de los métodos como la capacidad de generación que es la base de los mismos. Las evaluaciones fueron hechas en dos conjuntos diferentes de datos reales, uno propio y otro público, obteniéndose muy buenos resultados. Las implementaciones fueron realizadas con la librería keras, logrando que la arquitectura del código sea compacta y sencilla de entender. |
| eu_rights_str_mv | openAccess |
| format | masterThesis |
| id | anni_1a390fa2c8b9be3f07cdc8dcb4f4bd35 |
| identifier_str_mv | García González, G. Detección de anomalías en series multivariable con modelos generativos [en línea].Tesis de maestría. Montevideo : Udelar. FI. IIE., 2020. 1688-2806 |
| instacron_str | Universidad de la República |
| institution | Universidad de la República |
| instname_str | Universidad de la República |
| language | spa |
| language_invalid_str_mv | es |
| network_acronym_str | anni |
| network_name_str | oai-lr-anni |
| oai_identifier_str | oai:colibri.udelar.edu.uy:20.500.12008/25395 |
| publishDate | 2020 |
| publishDateSort | 2020 |
| publisher.none.fl_str_mv | Udelar.FI. |
| reponame_str | COLIBRI |
| repository.mail.fl_str_mv | |
| repository.name.fl_str_mv | |
| repository_id_str | |
| rights_invalid_str_mv | Licencia Creative Commons Atribución - No Comercial - Sin Derivadas (CC - By-NC-ND 4.0) |
| spelling | Detección de anomalías en series multivariable con modelos generativos.García González, GastónDetección de anomalíasSeries multivariablesModelos generativosAnálisis de datosAprendizaje profundoReconocimiento de patronesBig dataLa detección de anomalías es un campo de estudio relevante para muchas aplicaciones y contextos. En el monitoreo de sistemas, la recopilación de múltiples variables es esencial para tener un conocimiento del estado del sistema y resolver a tiempo eventuales problemas. Un análisis eficiente de anomalías puede ser útil para detectar problemas de rendimiento, fallas, ataques externos e intentos de fraude. Aunque la detección de anomalías en series temporales es un área de investigación madura, la aparición de grandes plataformas de datos que permiten el procesamiento de cantidades masivas y diversas de datos, junto con la reciente gran exploración científica de nuevas herramientas para aplicación de aprendizaje profundo, plantean nuevas oportunidades y desafíos para investigar en el tema. En particular, la detección de anomalías en series multivariables es un desafío, ya que generalmente los métodos de detección tiene dos esquemas: el análisis univariable, ejecutando un detector independiente para cada serie de tiempo, o el análisis multivariable, tomando a cada instante de tiempo de manera independiente. En este trabajo se plantea la idea de monitorear todas las series de un sistema con un solo modelo teniendo en cuenta la relación temporal. Para esto se recurrió al uso de modelos generativos no-supervisados basados en redes neuronales, los cuales han demostrado una gran capacidad para aprender la distribución de datos complejos. Además, el uso de estas herramientas ayudan a resolver otros dos grandes problemas en la detección de anomalías que son: el alto desequilibrio entre los datos normales y anómalos, y la falta de etiquetas para fines de aprendizaje y validación. Se implementaron dos métodos, el primero basado en el error de reconstrucción utilizando Varationals Auto-Encoders (VAE), y el segundo utilizando redes recurrentes entrenadas bajo el enfoque de las Generative Adversarial Networks (GAN), explotando no solo las propiedades generativas, sino también las discriminativas. Como un aporte importante con respecto al estado del arte, en este trabajo se logra visualizar tanto la capacidad de detección de los métodos como la capacidad de generación que es la base de los mismos. Las evaluaciones fueron hechas en dos conjuntos diferentes de datos reales, uno propio y otro público, obteniéndose muy buenos resultados. Las implementaciones fueron realizadas con la librería keras, logrando que la arquitectura del código sea compacta y sencilla de entender.Udelar.FI.García González Gastón, Universidad de la República (Uruguay). Facultad de Ingeniería.2020-09-28T19:37:46Z2020-09-28T19:37:46Z2020Tesis de maestríainfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/acceptedVersion77 p.application/pdfGarcía González, G. Detección de anomalías en series multivariable con modelos generativos [en línea].Tesis de maestría. Montevideo : Udelar. FI. IIE., 2020.1688-2806https://hdl.handle.net/20.500.12008/25395reponame:COLIBRIinstname:Universidad de la Repúblicainstacron:Universidad de la RepúblicaesspaLas obras depositadas en el Repositorio se rigen por la Ordenanza de los Derechos de la Propiedad Intelectual de la Universidad de la República.(Res. Nº 91 de C.D.C. de 8/III/1994 – D.O. 7/IV/1994) y por la Ordenanza del Repositorio Abierto de la Universidad de la República (Res. Nº 16 de C.D.C. de 07/10/2014)info:eu-repo/semantics/openAccessLicencia Creative Commons Atribución - No Comercial - Sin Derivadas (CC - By-NC-ND 4.0)oai:colibri.udelar.edu.uy:20.500.12008/253952026-04-14T10:27:45Z |
| spellingShingle | Detección de anomalías en series multivariable con modelos generativos. García González, Gastón Detección de anomalías Series multivariables Modelos generativos Análisis de datos Aprendizaje profundo Reconocimiento de patrones Big data |
| status_str | acceptedVersion |
| title | Detección de anomalías en series multivariable con modelos generativos. |
| title_full | Detección de anomalías en series multivariable con modelos generativos. |
| title_fullStr | Detección de anomalías en series multivariable con modelos generativos. |
| title_full_unstemmed | Detección de anomalías en series multivariable con modelos generativos. |
| title_short | Detección de anomalías en series multivariable con modelos generativos. |
| title_sort | Detección de anomalías en series multivariable con modelos generativos. |
| topic | Detección de anomalías Series multivariables Modelos generativos Análisis de datos Aprendizaje profundo Reconocimiento de patrones Big data |
| url | https://hdl.handle.net/20.500.12008/25395 |