Verification Techniques for Large Language Models
Supervisor(es): Yovine, Sergio Fabián
Resumen:
Este proyecto de maestría se desarrolla como una extensión de la investigación “Language Models are Few-Shot Learners” (Brown et al., 2020). Propone adaptar técnicas de verificación formal para el análisis de Grandes Modelos de Lenguaje (LLMs). El objetivo es desarrollar mecanismos sistemáticos que permitan estudiar el comportamiento de estos modelos mediante herramientas provenientes de los lenguajes formales y la verificación probabilística. Para ello, los LLMs serán modelados como modelos de lenguaje probabilísticos y se definirán interfaces formales de consulta para caracterizar tanto el comportamiento de aceptación como la predicción del siguiente símbolo. Sobre esta base, se aplicarán técnicas de aprendizaje de autómatas y verificación probabilística al vuelo a los lenguajes inducidos por los LLMs. Asimismo, se propondrán optimizaciones mediante procesamiento por lotes para las consultas de pertenencia y equivalencia utilizadas en el aprendizaje L*, con el propósito de reducir el costo computacional asociado a su aplicación sobre estos modelos. Finalmente, mediante casos de estudio con LLMs de pesos abiertos, se analizará la viabilidad y las limitaciones de emplear métodos de lenguajes formales para razonar sobre los resultados generados por estos sistemas. El proyecto busca contribuir al desarrollo de metodologías rigurosas para analizar y verificar el comportamiento de los LLMs, favoreciendo una comprensión más sistemática de sus capacidades y limitaciones.
| 2026 | |
|
PROYECTOS-MI PROCESAMIENTO DE DATOS MODELOS DE LENGUAJE GRANDE APRENDIZAJE AUTOMÁTICO VERIFICACIÓN FORMAL INTELIGENCIA ARTIFICIAL |
|
| Inglés | |
| Universidad ORT Uruguay | |
| RAD | |
|
https://hdl.handle.net/20.500.11968/8025
http://hdl.handle.net/20.500.11968/8025 |
|
| Acceso abierto | |
| Acceso abierto |
| _version_ | 1878917286444662784 |
|---|---|
| author | Iturbide Noria, Martín |
| author_facet | Iturbide Noria, Martín |
| author_role | author |
| bitstream.checksum.fl_str_mv | 7746901eb638952b6ec9cad08138df20 25759f6fc2e2271b6c69d7f701acfb06 b1478353e19adab3c956421264f04bd5 |
| bitstream.checksumAlgorithm.fl_str_mv | MD5 MD5 MD5 |
| bitstream.url.fl_str_mv | https://rad.ort.edu.uy/bitstreams/3c639006-5ef9-4e7b-acc0-c6b882c6b74d/download https://rad.ort.edu.uy/bitstreams/a0358877-cac5-4c6d-8df8-de1ddf5b0623/download https://rad.ort.edu.uy/bitstreams/b87d69c7-5995-4258-9209-e5c1726ad24f/download |
| collection | RAD |
| dc.contributor.tribunal.none.fl_str_mv | Braberman, Victor Adrian Asarin, Eugene |
| dc.creator.advisor.none.fl_str_mv | Yovine, Sergio Fabián |
| dc.creator.none.fl_str_mv | Iturbide Noria, Martín |
| dc.date.accessioned.none.fl_str_mv | 2026-09-08T18:48:11Z |
| dc.date.available.none.fl_str_mv | 2026-09-08T18:48:11Z |
| dc.date.issued.none.fl_str_mv | 2026 |
| dc.description.abstract.none.fl_txt_mv | Este proyecto de maestría se desarrolla como una extensión de la investigación “Language Models are Few-Shot Learners” (Brown et al., 2020). Propone adaptar técnicas de verificación formal para el análisis de Grandes Modelos de Lenguaje (LLMs). El objetivo es desarrollar mecanismos sistemáticos que permitan estudiar el comportamiento de estos modelos mediante herramientas provenientes de los lenguajes formales y la verificación probabilística. Para ello, los LLMs serán modelados como modelos de lenguaje probabilísticos y se definirán interfaces formales de consulta para caracterizar tanto el comportamiento de aceptación como la predicción del siguiente símbolo. Sobre esta base, se aplicarán técnicas de aprendizaje de autómatas y verificación probabilística al vuelo a los lenguajes inducidos por los LLMs. Asimismo, se propondrán optimizaciones mediante procesamiento por lotes para las consultas de pertenencia y equivalencia utilizadas en el aprendizaje L*, con el propósito de reducir el costo computacional asociado a su aplicación sobre estos modelos. Finalmente, mediante casos de estudio con LLMs de pesos abiertos, se analizará la viabilidad y las limitaciones de emplear métodos de lenguajes formales para razonar sobre los resultados generados por estos sistemas. El proyecto busca contribuir al desarrollo de metodologías rigurosas para analizar y verificar el comportamiento de los LLMs, favoreciendo una comprensión más sistemática de sus capacidades y limitaciones. |
| dc.description.none.fl_txt_mv | Incluye bibliografía y anexos. |
| dc.format.extent.none.fl_str_mv | 69 p., il, grafs. |
| dc.format.mimetype.none.fl_str_mv | PDF |
| dc.identifier.citation.none.fl_str_mv | Iturbide Noria, M. (2026). Verification Techniques for Large Language Models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/8025 |
| dc.identifier.uri.none.fl_str_mv | https://hdl.handle.net/20.500.11968/8025 http://hdl.handle.net/20.500.11968/8025 |
| dc.language.iso.none.fl_str_mv | eng |
| dc.publisher.none.fl_str_mv | Universidad ORT Uruguay |
| dc.relation.none.fl_str_mv | https://sisbibliotecas.ort.edu.uy/bib/98655 |
| dc.rights.license.none.fl_str_mv | Acceso abierto |
| dc.rights.none.fl_str_mv | info:eu-repo/semantics/openAccess |
| dc.source.none.fl_str_mv | reponame:RAD instname:Universidad ORT Uruguay instacron:Universidad ORT |
| dc.subject.none.fl_str_mv | PROYECTOS-MI PROCESAMIENTO DE DATOS MODELOS DE LENGUAJE GRANDE APRENDIZAJE AUTOMÁTICO VERIFICACIÓN FORMAL INTELIGENCIA ARTIFICIAL |
| dc.title.none.fl_str_mv | Verification Techniques for Large Language Models |
| dc.type.none.fl_str_mv | Trabajo final de carrera info:eu-repo/semantics/masterThesis |
| dc.type.version.none.fl_str_mv | info:eu-repo/semantics/publishedVersion |
| description | Incluye bibliografía y anexos. |
| eu_rights_str_mv | openAccess |
| format | masterThesis |
| id | RAD_0377c7472e3355fa87d959d6cdcedb9a |
| identifier_str_mv | Iturbide Noria, M. (2026). Verification Techniques for Large Language Models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/8025 |
| instacron_str | Universidad ORT |
| institution | Universidad ORT |
| instname_str | Universidad ORT Uruguay |
| language | eng |
| network_acronym_str | RAD |
| network_name_str | RAD |
| oai_identifier_str | oai:rad.ort.edu.uy:20.500.11968/8025 |
| publishDate | 2026 |
| publisher.none.fl_str_mv | Universidad ORT Uruguay |
| reponame_str | RAD |
| repository.mail.fl_str_mv | rodriguez_v@ort.edu.uy |
| repository.name.fl_str_mv | RAD - Universidad ORT Uruguay |
| repository_id_str | 3927 |
| rights_invalid_str_mv | Acceso abierto |
| spelling | Braberman, Victor AdrianAsarin, EugeneIturbide Noria, MartínYovine, Sergio Fabián2026-09-08T18:48:11Z2026-09-08T18:48:11Z2026Iturbide Noria, M. (2026). Verification Techniques for Large Language Models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/8025https://hdl.handle.net/20.500.11968/8025http://hdl.handle.net/20.500.11968/8025Incluye bibliografía y anexos.Este proyecto de maestría se desarrolla como una extensión de la investigación “Language Models are Few-Shot Learners” (Brown et al., 2020). Propone adaptar técnicas de verificación formal para el análisis de Grandes Modelos de Lenguaje (LLMs). El objetivo es desarrollar mecanismos sistemáticos que permitan estudiar el comportamiento de estos modelos mediante herramientas provenientes de los lenguajes formales y la verificación probabilística. Para ello, los LLMs serán modelados como modelos de lenguaje probabilísticos y se definirán interfaces formales de consulta para caracterizar tanto el comportamiento de aceptación como la predicción del siguiente símbolo. Sobre esta base, se aplicarán técnicas de aprendizaje de autómatas y verificación probabilística al vuelo a los lenguajes inducidos por los LLMs. Asimismo, se propondrán optimizaciones mediante procesamiento por lotes para las consultas de pertenencia y equivalencia utilizadas en el aprendizaje L*, con el propósito de reducir el costo computacional asociado a su aplicación sobre estos modelos. Finalmente, mediante casos de estudio con LLMs de pesos abiertos, se analizará la viabilidad y las limitaciones de emplear métodos de lenguajes formales para razonar sobre los resultados generados por estos sistemas. El proyecto busca contribuir al desarrollo de metodologías rigurosas para analizar y verificar el comportamiento de los LLMs, favoreciendo una comprensión más sistemática de sus capacidades y limitaciones.69 p., il, grafs.PDFengUniversidad ORT Uruguayinfo:eu-repo/semantics/openAccessAcceso abiertoPROYECTOS-MIPROCESAMIENTO DE DATOSMODELOS DE LENGUAJE GRANDEAPRENDIZAJE AUTOMÁTICOVERIFICACIÓN FORMALINTELIGENCIA ARTIFICIALVerification Techniques for Large Language ModelsTrabajo final de carrerainfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/publishedVersionhttps://sisbibliotecas.ort.edu.uy/bib/98655reponame:RADinstname:Universidad ORT Uruguayinstacron:Universidad ORTFacultad de IngenieríaMasterMaster en IngenieríaProyectoProyecto (Master). Universidad ORT Uruguay, Facultad de IngenieríaFI - Master en Ingeniería - MIORIGINALMaterial completo.pdfapplication/pdf1038913https://rad.ort.edu.uy/bitstreams/3c639006-5ef9-4e7b-acc0-c6b882c6b74d/download7746901eb638952b6ec9cad08138df20MD51TEXTMaterial completo.pdf.txtWritten by FormatFilter org.dspace.app.mediafilter.TikaTextExtractionFilter on 2026-09-09T06:00:33Z (GMT).Extracted texttext/plain93053https://rad.ort.edu.uy/bitstreams/a0358877-cac5-4c6d-8df8-de1ddf5b0623/download25759f6fc2e2271b6c69d7f701acfb06MD52THUMBNAILMaterial completo.pdf.jpgWritten by FormatFilter org.dspace.app.mediafilter.PDFBoxThumbnail on 2026-09-09T06:00:34Z (GMT).Generated Thumbnailimage/jpeg3403https://rad.ort.edu.uy/bitstreams/b87d69c7-5995-4258-9209-e5c1726ad24f/downloadb1478353e19adab3c956421264f04bd5MD5320.500.11968/80252026-09-09 03:00:33.98open.accessoai:rad.ort.edu.uy:20.500.11968/8025https://rad.ort.edu.uyhttps://rad.ort.edu.uy/Universidadhttps://www.ort.edu.uy/https://rad.ort.edu.uy/server/oai/requestrodriguez_v@ort.edu.uyUruguayopendoar:39272026-09-09T06:00:33RAD - Universidad ORT Uruguayfalse |
| spellingShingle | Verification Techniques for Large Language Models Iturbide Noria, Martín PROYECTOS-MI PROCESAMIENTO DE DATOS MODELOS DE LENGUAJE GRANDE APRENDIZAJE AUTOMÁTICO VERIFICACIÓN FORMAL INTELIGENCIA ARTIFICIAL |
| status_str | publishedVersion |
| title | Verification Techniques for Large Language Models |
| title_full | Verification Techniques for Large Language Models |
| title_fullStr | Verification Techniques for Large Language Models |
| title_full_unstemmed | Verification Techniques for Large Language Models |
| title_short | Verification Techniques for Large Language Models |
| title_sort | Verification Techniques for Large Language Models |
| topic | PROYECTOS-MI PROCESAMIENTO DE DATOS MODELOS DE LENGUAJE GRANDE APRENDIZAJE AUTOMÁTICO VERIFICACIÓN FORMAL INTELIGENCIA ARTIFICIAL |
| url | https://hdl.handle.net/20.500.11968/8025 http://hdl.handle.net/20.500.11968/8025 |