Relational non-verbatim unintended memorization in large language models
Supervisor(es): Fabián Yovine, Sergio
Resumen:
El siguiente proyecto presenta una investigación orientada al análisis de la memorización no intencionada en modelos de lenguaje y los riesgos asociados a la posible exposición de información sensible. A medida que estas tecnologías son adoptadas en entornos que procesan datos confidenciales, resulta fundamental comprender hasta qué punto los modelos pueden almacenar y revelar información presente en sus datos de entrenamiento. El trabajo realiza un estudio post-hoc de los mecanismos de memorización, comenzando por la unificación de métricas ampliamente utilizadas en la literatura. En particular, demuestra que las métricas de exposición y (n, p)-discoverable extraction representan diferentes formas de medir un mismo fenómeno subyacente. Sobre esta base, se proponen mejoras metodológicas que permiten evaluar la memorización tanto de secuencias individuales como de conjuntos de texto, además de analizar el impacto de distintas estrategias de decodificación, como el muestreo top-k, en la probabilidad de revelar contenido memorizado. Como principal aporte, la investigación introduce una nueva métrica denominada relational (n, p)-discoverable extraction, diseñada para identificar la memorización de relaciones semánticas y estructurales entre fragmentos de información, superando las limitaciones de los enfoques centrados únicamente en coincidencias literales. La aplicación de esta métrica permitió desarrollar un ataque experimental sobre un modelo de lenguaje de última generación, logrando extraer relaciones de datos que no podían ser detectadas mediante métodos previos. Finalmente, el trabajo evalúa el uso de Privacidad Diferencial durante el entrenamiento como estrategia de mitigación. Los resultados obtenidos aportan evidencia empírica de que esta técnica reduce de manera significativa el riesgo de memorización no intencionada y, por consiguiente, la posibilidad de filtración de información sensible.
| 2026 | |
|
PROYECTOS-ID DESARROLLO DE SOFTWARE MODELOS DE LENGUAJE PRIVACIDAD DIFERENCIAL |
|
| Inglés | |
| Universidad ORT Uruguay | |
| RAD | |
|
https://hdl.handle.net/20.500.11968/7906
http://hdl.handle.net/20.500.11968/7906 |
|
| Acceso abierto | |
| Acceso abierto |
| _version_ | 1879732695526801408 |
|---|---|
| author | Morón Santos, Santiago |
| author_facet | Morón Santos, Santiago |
| author_role | author |
| bitstream.checksum.fl_str_mv | 8b3e27d7ed2d2f8ecb90d44848a97e32 b9b21d1920738f3f436a5a793e678260 3a970895157b622b08868ca64fe24095 |
| bitstream.checksumAlgorithm.fl_str_mv | MD5 MD5 MD5 |
| bitstream.url.fl_str_mv | https://rad.ort.edu.uy/bitstreams/dbbc7ae4-1638-4b9d-b92a-cb99a954d159/download https://rad.ort.edu.uy/bitstreams/25dcc1bb-2427-497b-b1d1-daf93f044cc2/download https://rad.ort.edu.uy/bitstreams/787cabf7-e838-4c63-8b31-a452faac292d/download |
| collection | RAD |
| dc.contributor.tribunal.none.fl_str_mv | Braberman, Victor Adrian Asarin, Eugene |
| dc.creator.advisor.none.fl_str_mv | Fabián Yovine, Sergio |
| dc.creator.none.fl_str_mv | Morón Santos, Santiago |
| dc.date.accessioned.none.fl_str_mv | 2026-06-23T18:46:46Z |
| dc.date.available.none.fl_str_mv | 2026-06-23T18:46:46Z |
| dc.date.issued.none.fl_str_mv | 2026 |
| dc.description.abstract.none.fl_txt_mv | El siguiente proyecto presenta una investigación orientada al análisis de la memorización no intencionada en modelos de lenguaje y los riesgos asociados a la posible exposición de información sensible. A medida que estas tecnologías son adoptadas en entornos que procesan datos confidenciales, resulta fundamental comprender hasta qué punto los modelos pueden almacenar y revelar información presente en sus datos de entrenamiento. El trabajo realiza un estudio post-hoc de los mecanismos de memorización, comenzando por la unificación de métricas ampliamente utilizadas en la literatura. En particular, demuestra que las métricas de exposición y (n, p)-discoverable extraction representan diferentes formas de medir un mismo fenómeno subyacente. Sobre esta base, se proponen mejoras metodológicas que permiten evaluar la memorización tanto de secuencias individuales como de conjuntos de texto, además de analizar el impacto de distintas estrategias de decodificación, como el muestreo top-k, en la probabilidad de revelar contenido memorizado. Como principal aporte, la investigación introduce una nueva métrica denominada relational (n, p)-discoverable extraction, diseñada para identificar la memorización de relaciones semánticas y estructurales entre fragmentos de información, superando las limitaciones de los enfoques centrados únicamente en coincidencias literales. La aplicación de esta métrica permitió desarrollar un ataque experimental sobre un modelo de lenguaje de última generación, logrando extraer relaciones de datos que no podían ser detectadas mediante métodos previos. Finalmente, el trabajo evalúa el uso de Privacidad Diferencial durante el entrenamiento como estrategia de mitigación. Los resultados obtenidos aportan evidencia empírica de que esta técnica reduce de manera significativa el riesgo de memorización no intencionada y, por consiguiente, la posibilidad de filtración de información sensible. |
| dc.description.none.fl_txt_mv | Incluye bibliografía. |
| dc.format.extent.none.fl_str_mv | 70 p., diagrs., tbls., grafs. |
| dc.format.mimetype.none.fl_str_mv | PDF |
| dc.identifier.citation.none.fl_str_mv | Morón Santos, S. (2026). Relational non-verbatim unintended memorization in large language models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/7906 |
| dc.identifier.uri.none.fl_str_mv | https://hdl.handle.net/20.500.11968/7906 http://hdl.handle.net/20.500.11968/7906 |
| dc.language.iso.none.fl_str_mv | eng |
| dc.publisher.none.fl_str_mv | Universidad ORT Uruguay |
| dc.relation.none.fl_str_mv | https://sisbibliotecas.ort.edu.uy/bib/98153 |
| dc.rights.license.none.fl_str_mv | Acceso abierto |
| dc.rights.none.fl_str_mv | info:eu-repo/semantics/openAccess |
| dc.source.none.fl_str_mv | reponame:RAD instname:Universidad ORT Uruguay instacron:Universidad ORT |
| dc.subject.none.fl_str_mv | PROYECTOS-ID DESARROLLO DE SOFTWARE MODELOS DE LENGUAJE PRIVACIDAD DIFERENCIAL |
| dc.title.none.fl_str_mv | Relational non-verbatim unintended memorization in large language models |
| dc.type.none.fl_str_mv | Trabajo final de carrera info:eu-repo/semantics/bachelorThesis |
| dc.type.version.none.fl_str_mv | info:eu-repo/semantics/publishedVersion |
| description | Incluye bibliografía. |
| eu_rights_str_mv | openAccess |
| format | bachelorThesis |
| id | RAD_58748eea32a33b228419e4d80cd5de19 |
| identifier_str_mv | Morón Santos, S. (2026). Relational non-verbatim unintended memorization in large language models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/7906 |
| instacron_str | Universidad ORT |
| institution | Universidad ORT |
| instname_str | Universidad ORT Uruguay |
| language | eng |
| network_acronym_str | RAD |
| network_name_str | RAD |
| oai_identifier_str | oai:rad.ort.edu.uy:20.500.11968/7906 |
| publishDate | 2026 |
| publisher.none.fl_str_mv | Universidad ORT Uruguay |
| reponame_str | RAD |
| repository.mail.fl_str_mv | rodriguez_v@ort.edu.uy |
| repository.name.fl_str_mv | RAD - Universidad ORT Uruguay |
| repository_id_str | 3927 |
| rights_invalid_str_mv | Acceso abierto |
| spelling | Braberman, Victor AdrianAsarin, EugeneMorón Santos, SantiagoFabián Yovine, Sergio2026-06-23T18:46:46Z2026-06-23T18:46:46Z2026Morón Santos, S. (2026). Relational non-verbatim unintended memorization in large language models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/7906https://hdl.handle.net/20.500.11968/7906http://hdl.handle.net/20.500.11968/7906Incluye bibliografía.El siguiente proyecto presenta una investigación orientada al análisis de la memorización no intencionada en modelos de lenguaje y los riesgos asociados a la posible exposición de información sensible. A medida que estas tecnologías son adoptadas en entornos que procesan datos confidenciales, resulta fundamental comprender hasta qué punto los modelos pueden almacenar y revelar información presente en sus datos de entrenamiento. El trabajo realiza un estudio post-hoc de los mecanismos de memorización, comenzando por la unificación de métricas ampliamente utilizadas en la literatura. En particular, demuestra que las métricas de exposición y (n, p)-discoverable extraction representan diferentes formas de medir un mismo fenómeno subyacente. Sobre esta base, se proponen mejoras metodológicas que permiten evaluar la memorización tanto de secuencias individuales como de conjuntos de texto, además de analizar el impacto de distintas estrategias de decodificación, como el muestreo top-k, en la probabilidad de revelar contenido memorizado. Como principal aporte, la investigación introduce una nueva métrica denominada relational (n, p)-discoverable extraction, diseñada para identificar la memorización de relaciones semánticas y estructurales entre fragmentos de información, superando las limitaciones de los enfoques centrados únicamente en coincidencias literales. La aplicación de esta métrica permitió desarrollar un ataque experimental sobre un modelo de lenguaje de última generación, logrando extraer relaciones de datos que no podían ser detectadas mediante métodos previos. Finalmente, el trabajo evalúa el uso de Privacidad Diferencial durante el entrenamiento como estrategia de mitigación. Los resultados obtenidos aportan evidencia empírica de que esta técnica reduce de manera significativa el riesgo de memorización no intencionada y, por consiguiente, la posibilidad de filtración de información sensible.70 p., diagrs., tbls., grafs.PDFengUniversidad ORT Uruguayinfo:eu-repo/semantics/openAccessAcceso abiertoPROYECTOS-IDDESARROLLO DE SOFTWAREMODELOS DE LENGUAJEPRIVACIDAD DIFERENCIALRelational non-verbatim unintended memorization in large language modelsTrabajo final de carrerainfo:eu-repo/semantics/bachelorThesisinfo:eu-repo/semantics/publishedVersionhttps://sisbibliotecas.ort.edu.uy/bib/98153reponame:RADinstname:Universidad ORT Uruguayinstacron:Universidad ORTFacultad de IngenieríaCarrera universitariaIngeniero en SistemasProyectoProyecto (Carrera Universitaria). Universidad ORT Uruguay, Facultad de Ingeniería.FI - Ingeniería en Sistemas - IDORIGINALMaterial completo.pdfapplication/pdf2406592https://rad.ort.edu.uy/bitstreams/dbbc7ae4-1638-4b9d-b92a-cb99a954d159/download8b3e27d7ed2d2f8ecb90d44848a97e32MD51THUMBNAILMaterial completo.pdf.jpgWritten by FormatFilter org.dspace.app.mediafilter.PDFBoxThumbnail on 2026-06-24T06:01:47Z (GMT).Generated Thumbnailimage/jpeg2933https://rad.ort.edu.uy/bitstreams/25dcc1bb-2427-497b-b1d1-daf93f044cc2/downloadb9b21d1920738f3f436a5a793e678260MD52TEXTMaterial completo.pdf.txtWritten by FormatFilter org.dspace.app.mediafilter.TikaTextExtractionFilter on 2026-07-10T18:04:20Z (GMT).Extracted texttext/plain101183https://rad.ort.edu.uy/bitstreams/787cabf7-e838-4c63-8b31-a452faac292d/download3a970895157b622b08868ca64fe24095MD5320.500.11968/79062026-09-01 10:29:01.202open.accessoai:rad.ort.edu.uy:20.500.11968/7906https://rad.ort.edu.uyhttps://rad.ort.edu.uy/Universidadhttps://www.ort.edu.uy/https://rad.ort.edu.uy/server/oai/requestrodriguez_v@ort.edu.uyUruguayopendoar:39272026-09-01T13:29:01RAD - Universidad ORT Uruguayfalse |
| spellingShingle | Relational non-verbatim unintended memorization in large language models Morón Santos, Santiago PROYECTOS-ID DESARROLLO DE SOFTWARE MODELOS DE LENGUAJE PRIVACIDAD DIFERENCIAL |
| status_str | publishedVersion |
| title | Relational non-verbatim unintended memorization in large language models |
| title_full | Relational non-verbatim unintended memorization in large language models |
| title_fullStr | Relational non-verbatim unintended memorization in large language models |
| title_full_unstemmed | Relational non-verbatim unintended memorization in large language models |
| title_short | Relational non-verbatim unintended memorization in large language models |
| title_sort | Relational non-verbatim unintended memorization in large language models |
| topic | PROYECTOS-ID DESARROLLO DE SOFTWARE MODELOS DE LENGUAJE PRIVACIDAD DIFERENCIAL |
| url | https://hdl.handle.net/20.500.11968/7906 http://hdl.handle.net/20.500.11968/7906 |