Relational non-verbatim unintended memorization in large language models

Morón Santos, Santiago

Supervisor(es): Fabián Yovine, Sergio

Resumen:

El siguiente proyecto presenta una investigación orientada al análisis de la memorización no intencionada en modelos de lenguaje y los riesgos asociados a la posible exposición de información sensible. A medida que estas tecnologías son adoptadas en entornos que procesan datos confidenciales, resulta fundamental comprender hasta qué punto los modelos pueden almacenar y revelar información presente en sus datos de entrenamiento. El trabajo realiza un estudio post-hoc de los mecanismos de memorización, comenzando por la unificación de métricas ampliamente utilizadas en la literatura. En particular, demuestra que las métricas de exposición y (n, p)-discoverable extraction representan diferentes formas de medir un mismo fenómeno subyacente. Sobre esta base, se proponen mejoras metodológicas que permiten evaluar la memorización tanto de secuencias individuales como de conjuntos de texto, además de analizar el impacto de distintas estrategias de decodificación, como el muestreo top-k, en la probabilidad de revelar contenido memorizado. Como principal aporte, la investigación introduce una nueva métrica denominada relational (n, p)-discoverable extraction, diseñada para identificar la memorización de relaciones semánticas y estructurales entre fragmentos de información, superando las limitaciones de los enfoques centrados únicamente en coincidencias literales. La aplicación de esta métrica permitió desarrollar un ataque experimental sobre un modelo de lenguaje de última generación, logrando extraer relaciones de datos que no podían ser detectadas mediante métodos previos. Finalmente, el trabajo evalúa el uso de Privacidad Diferencial durante el entrenamiento como estrategia de mitigación. Los resultados obtenidos aportan evidencia empírica de que esta técnica reduce de manera significativa el riesgo de memorización no intencionada y, por consiguiente, la posibilidad de filtración de información sensible.

Detalles Bibliográficos
2026
PROYECTOS-ID
DESARROLLO DE SOFTWARE
MODELOS DE LENGUAJE
PRIVACIDAD DIFERENCIAL
Inglés
Universidad ORT Uruguay
RAD
https://hdl.handle.net/20.500.11968/7906
http://hdl.handle.net/20.500.11968/7906
Acceso abierto
Acceso abierto
_version_ 1879732695526801408
author Morón Santos, Santiago
author_facet Morón Santos, Santiago
author_role author
bitstream.checksum.fl_str_mv 8b3e27d7ed2d2f8ecb90d44848a97e32
b9b21d1920738f3f436a5a793e678260
3a970895157b622b08868ca64fe24095
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
bitstream.url.fl_str_mv https://rad.ort.edu.uy/bitstreams/dbbc7ae4-1638-4b9d-b92a-cb99a954d159/download
https://rad.ort.edu.uy/bitstreams/25dcc1bb-2427-497b-b1d1-daf93f044cc2/download
https://rad.ort.edu.uy/bitstreams/787cabf7-e838-4c63-8b31-a452faac292d/download
collection RAD
dc.contributor.tribunal.none.fl_str_mv Braberman, Victor Adrian
Asarin, Eugene
dc.creator.advisor.none.fl_str_mv Fabián Yovine, Sergio
dc.creator.none.fl_str_mv Morón Santos, Santiago
dc.date.accessioned.none.fl_str_mv 2026-06-23T18:46:46Z
dc.date.available.none.fl_str_mv 2026-06-23T18:46:46Z
dc.date.issued.none.fl_str_mv 2026
dc.description.abstract.none.fl_txt_mv El siguiente proyecto presenta una investigación orientada al análisis de la memorización no intencionada en modelos de lenguaje y los riesgos asociados a la posible exposición de información sensible. A medida que estas tecnologías son adoptadas en entornos que procesan datos confidenciales, resulta fundamental comprender hasta qué punto los modelos pueden almacenar y revelar información presente en sus datos de entrenamiento. El trabajo realiza un estudio post-hoc de los mecanismos de memorización, comenzando por la unificación de métricas ampliamente utilizadas en la literatura. En particular, demuestra que las métricas de exposición y (n, p)-discoverable extraction representan diferentes formas de medir un mismo fenómeno subyacente. Sobre esta base, se proponen mejoras metodológicas que permiten evaluar la memorización tanto de secuencias individuales como de conjuntos de texto, además de analizar el impacto de distintas estrategias de decodificación, como el muestreo top-k, en la probabilidad de revelar contenido memorizado. Como principal aporte, la investigación introduce una nueva métrica denominada relational (n, p)-discoverable extraction, diseñada para identificar la memorización de relaciones semánticas y estructurales entre fragmentos de información, superando las limitaciones de los enfoques centrados únicamente en coincidencias literales. La aplicación de esta métrica permitió desarrollar un ataque experimental sobre un modelo de lenguaje de última generación, logrando extraer relaciones de datos que no podían ser detectadas mediante métodos previos. Finalmente, el trabajo evalúa el uso de Privacidad Diferencial durante el entrenamiento como estrategia de mitigación. Los resultados obtenidos aportan evidencia empírica de que esta técnica reduce de manera significativa el riesgo de memorización no intencionada y, por consiguiente, la posibilidad de filtración de información sensible.
dc.description.none.fl_txt_mv Incluye bibliografía.
dc.format.extent.none.fl_str_mv 70 p., diagrs., tbls., grafs.
dc.format.mimetype.none.fl_str_mv PDF
dc.identifier.citation.none.fl_str_mv Morón Santos, S. (2026). Relational non-verbatim unintended memorization in large language models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/7906
dc.identifier.uri.none.fl_str_mv https://hdl.handle.net/20.500.11968/7906
http://hdl.handle.net/20.500.11968/7906
dc.language.iso.none.fl_str_mv eng
dc.publisher.none.fl_str_mv Universidad ORT Uruguay
dc.relation.none.fl_str_mv https://sisbibliotecas.ort.edu.uy/bib/98153
dc.rights.license.none.fl_str_mv Acceso abierto
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
dc.source.none.fl_str_mv reponame:RAD
instname:Universidad ORT Uruguay
instacron:Universidad ORT
dc.subject.none.fl_str_mv PROYECTOS-ID
DESARROLLO DE SOFTWARE
MODELOS DE LENGUAJE
PRIVACIDAD DIFERENCIAL
dc.title.none.fl_str_mv Relational non-verbatim unintended memorization in large language models
dc.type.none.fl_str_mv Trabajo final de carrera
info:eu-repo/semantics/bachelorThesis
dc.type.version.none.fl_str_mv info:eu-repo/semantics/publishedVersion
description Incluye bibliografía.
eu_rights_str_mv openAccess
format bachelorThesis
id RAD_58748eea32a33b228419e4d80cd5de19
identifier_str_mv Morón Santos, S. (2026). Relational non-verbatim unintended memorization in large language models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/7906
instacron_str Universidad ORT
institution Universidad ORT
instname_str Universidad ORT Uruguay
language eng
network_acronym_str RAD
network_name_str RAD
oai_identifier_str oai:rad.ort.edu.uy:20.500.11968/7906
publishDate 2026
publisher.none.fl_str_mv Universidad ORT Uruguay
reponame_str RAD
repository.mail.fl_str_mv rodriguez_v@ort.edu.uy
repository.name.fl_str_mv RAD - Universidad ORT Uruguay
repository_id_str 3927
rights_invalid_str_mv Acceso abierto
spelling Braberman, Victor AdrianAsarin, EugeneMorón Santos, SantiagoFabián Yovine, Sergio2026-06-23T18:46:46Z2026-06-23T18:46:46Z2026Morón Santos, S. (2026). Relational non-verbatim unintended memorization in large language models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/7906https://hdl.handle.net/20.500.11968/7906http://hdl.handle.net/20.500.11968/7906Incluye bibliografía.El siguiente proyecto presenta una investigación orientada al análisis de la memorización no intencionada en modelos de lenguaje y los riesgos asociados a la posible exposición de información sensible. A medida que estas tecnologías son adoptadas en entornos que procesan datos confidenciales, resulta fundamental comprender hasta qué punto los modelos pueden almacenar y revelar información presente en sus datos de entrenamiento. El trabajo realiza un estudio post-hoc de los mecanismos de memorización, comenzando por la unificación de métricas ampliamente utilizadas en la literatura. En particular, demuestra que las métricas de exposición y (n, p)-discoverable extraction representan diferentes formas de medir un mismo fenómeno subyacente. Sobre esta base, se proponen mejoras metodológicas que permiten evaluar la memorización tanto de secuencias individuales como de conjuntos de texto, además de analizar el impacto de distintas estrategias de decodificación, como el muestreo top-k, en la probabilidad de revelar contenido memorizado. Como principal aporte, la investigación introduce una nueva métrica denominada relational (n, p)-discoverable extraction, diseñada para identificar la memorización de relaciones semánticas y estructurales entre fragmentos de información, superando las limitaciones de los enfoques centrados únicamente en coincidencias literales. La aplicación de esta métrica permitió desarrollar un ataque experimental sobre un modelo de lenguaje de última generación, logrando extraer relaciones de datos que no podían ser detectadas mediante métodos previos. Finalmente, el trabajo evalúa el uso de Privacidad Diferencial durante el entrenamiento como estrategia de mitigación. Los resultados obtenidos aportan evidencia empírica de que esta técnica reduce de manera significativa el riesgo de memorización no intencionada y, por consiguiente, la posibilidad de filtración de información sensible.70 p., diagrs., tbls., grafs.PDFengUniversidad ORT Uruguayinfo:eu-repo/semantics/openAccessAcceso abiertoPROYECTOS-IDDESARROLLO DE SOFTWAREMODELOS DE LENGUAJEPRIVACIDAD DIFERENCIALRelational non-verbatim unintended memorization in large language modelsTrabajo final de carrerainfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/publishedVersionhttps://sisbibliotecas.ort.edu.uy/bib/98153reponame:RADinstname:Universidad ORT Uruguayinstacron:Universidad ORTFacultad de IngenieríaCarrera universitariaIngeniero en SistemasProyectoProyecto (Carrera Universitaria). Universidad ORT Uruguay, Facultad de Ingeniería.FI - Ingeniería en Sistemas - IDORIGINALMaterial completo.pdfapplication/pdf2406592https://rad.ort.edu.uy/bitstreams/dbbc7ae4-1638-4b9d-b92a-cb99a954d159/download8b3e27d7ed2d2f8ecb90d44848a97e32MD51THUMBNAILMaterial completo.pdf.jpgWritten by FormatFilter org.dspace.app.mediafilter.PDFBoxThumbnail on 2026-06-24T06:01:47Z (GMT).Generated Thumbnailimage/jpeg2933https://rad.ort.edu.uy/bitstreams/25dcc1bb-2427-497b-b1d1-daf93f044cc2/downloadb9b21d1920738f3f436a5a793e678260MD52TEXTMaterial completo.pdf.txtWritten by FormatFilter org.dspace.app.mediafilter.TikaTextExtractionFilter on 2026-07-10T18:04:20Z (GMT).Extracted texttext/plain101183https://rad.ort.edu.uy/bitstreams/787cabf7-e838-4c63-8b31-a452faac292d/download3a970895157b622b08868ca64fe24095MD5320.500.11968/79062026-09-01 10:29:01.202open.accessoai:rad.ort.edu.uy:20.500.11968/7906https://rad.ort.edu.uyhttps://rad.ort.edu.uy/Universidadhttps://www.ort.edu.uy/https://rad.ort.edu.uy/server/oai/requestrodriguez_v@ort.edu.uyUruguayopendoar:39272026-09-01T13:29:01RAD - Universidad ORT Uruguayfalse
spellingShingle Relational non-verbatim unintended memorization in large language models
Morón Santos, Santiago
PROYECTOS-ID
DESARROLLO DE SOFTWARE
MODELOS DE LENGUAJE
PRIVACIDAD DIFERENCIAL
status_str publishedVersion
title Relational non-verbatim unintended memorization in large language models
title_full Relational non-verbatim unintended memorization in large language models
title_fullStr Relational non-verbatim unintended memorization in large language models
title_full_unstemmed Relational non-verbatim unintended memorization in large language models
title_short Relational non-verbatim unintended memorization in large language models
title_sort Relational non-verbatim unintended memorization in large language models
topic PROYECTOS-ID
DESARROLLO DE SOFTWARE
MODELOS DE LENGUAJE
PRIVACIDAD DIFERENCIAL
url https://hdl.handle.net/20.500.11968/7906
http://hdl.handle.net/20.500.11968/7906