Verification Techniques for Large Language Models

Iturbide Noria, Martín

Supervisor(es): Yovine, Sergio Fabián

Resumen:

Este proyecto de maestría se desarrolla como una extensión de la investigación “Language Models are Few-Shot Learners” (Brown et al., 2020). Propone adaptar técnicas de verificación formal para el análisis de Grandes Modelos de Lenguaje (LLMs). El objetivo es desarrollar mecanismos sistemáticos que permitan estudiar el comportamiento de estos modelos mediante herramientas provenientes de los lenguajes formales y la verificación probabilística. Para ello, los LLMs serán modelados como modelos de lenguaje probabilísticos y se definirán interfaces formales de consulta para caracterizar tanto el comportamiento de aceptación como la predicción del siguiente símbolo. Sobre esta base, se aplicarán técnicas de aprendizaje de autómatas y verificación probabilística al vuelo a los lenguajes inducidos por los LLMs. Asimismo, se propondrán optimizaciones mediante procesamiento por lotes para las consultas de pertenencia y equivalencia utilizadas en el aprendizaje L*, con el propósito de reducir el costo computacional asociado a su aplicación sobre estos modelos. Finalmente, mediante casos de estudio con LLMs de pesos abiertos, se analizará la viabilidad y las limitaciones de emplear métodos de lenguajes formales para razonar sobre los resultados generados por estos sistemas. El proyecto busca contribuir al desarrollo de metodologías rigurosas para analizar y verificar el comportamiento de los LLMs, favoreciendo una comprensión más sistemática de sus capacidades y limitaciones.

Detalles Bibliográficos
2026
PROYECTOS-MI
PROCESAMIENTO DE DATOS
MODELOS DE LENGUAJE GRANDE
APRENDIZAJE AUTOMÁTICO
VERIFICACIÓN FORMAL
INTELIGENCIA ARTIFICIAL
Inglés
Universidad ORT Uruguay
RAD
https://hdl.handle.net/20.500.11968/8025
http://hdl.handle.net/20.500.11968/8025
Acceso abierto
Acceso abierto
_version_ 1878917286444662784
author Iturbide Noria, Martín
author_facet Iturbide Noria, Martín
author_role author
bitstream.checksum.fl_str_mv 7746901eb638952b6ec9cad08138df20
25759f6fc2e2271b6c69d7f701acfb06
b1478353e19adab3c956421264f04bd5
bitstream.checksumAlgorithm.fl_str_mv MD5
MD5
MD5
bitstream.url.fl_str_mv https://rad.ort.edu.uy/bitstreams/3c639006-5ef9-4e7b-acc0-c6b882c6b74d/download
https://rad.ort.edu.uy/bitstreams/a0358877-cac5-4c6d-8df8-de1ddf5b0623/download
https://rad.ort.edu.uy/bitstreams/b87d69c7-5995-4258-9209-e5c1726ad24f/download
collection RAD
dc.contributor.tribunal.none.fl_str_mv Braberman, Victor Adrian
Asarin, Eugene
dc.creator.advisor.none.fl_str_mv Yovine, Sergio Fabián
dc.creator.none.fl_str_mv Iturbide Noria, Martín
dc.date.accessioned.none.fl_str_mv 2026-09-08T18:48:11Z
dc.date.available.none.fl_str_mv 2026-09-08T18:48:11Z
dc.date.issued.none.fl_str_mv 2026
dc.description.abstract.none.fl_txt_mv Este proyecto de maestría se desarrolla como una extensión de la investigación “Language Models are Few-Shot Learners” (Brown et al., 2020). Propone adaptar técnicas de verificación formal para el análisis de Grandes Modelos de Lenguaje (LLMs). El objetivo es desarrollar mecanismos sistemáticos que permitan estudiar el comportamiento de estos modelos mediante herramientas provenientes de los lenguajes formales y la verificación probabilística. Para ello, los LLMs serán modelados como modelos de lenguaje probabilísticos y se definirán interfaces formales de consulta para caracterizar tanto el comportamiento de aceptación como la predicción del siguiente símbolo. Sobre esta base, se aplicarán técnicas de aprendizaje de autómatas y verificación probabilística al vuelo a los lenguajes inducidos por los LLMs. Asimismo, se propondrán optimizaciones mediante procesamiento por lotes para las consultas de pertenencia y equivalencia utilizadas en el aprendizaje L*, con el propósito de reducir el costo computacional asociado a su aplicación sobre estos modelos. Finalmente, mediante casos de estudio con LLMs de pesos abiertos, se analizará la viabilidad y las limitaciones de emplear métodos de lenguajes formales para razonar sobre los resultados generados por estos sistemas. El proyecto busca contribuir al desarrollo de metodologías rigurosas para analizar y verificar el comportamiento de los LLMs, favoreciendo una comprensión más sistemática de sus capacidades y limitaciones.
dc.description.none.fl_txt_mv Incluye bibliografía y anexos.
dc.format.extent.none.fl_str_mv 69 p., il, grafs.
dc.format.mimetype.none.fl_str_mv PDF
dc.identifier.citation.none.fl_str_mv Iturbide Noria, M. (2026). Verification Techniques for Large Language Models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/8025
dc.identifier.uri.none.fl_str_mv https://hdl.handle.net/20.500.11968/8025
http://hdl.handle.net/20.500.11968/8025
dc.language.iso.none.fl_str_mv eng
dc.publisher.none.fl_str_mv Universidad ORT Uruguay
dc.relation.none.fl_str_mv https://sisbibliotecas.ort.edu.uy/bib/98655
dc.rights.license.none.fl_str_mv Acceso abierto
dc.rights.none.fl_str_mv info:eu-repo/semantics/openAccess
dc.source.none.fl_str_mv reponame:RAD
instname:Universidad ORT Uruguay
instacron:Universidad ORT
dc.subject.none.fl_str_mv PROYECTOS-MI
PROCESAMIENTO DE DATOS
MODELOS DE LENGUAJE GRANDE
APRENDIZAJE AUTOMÁTICO
VERIFICACIÓN FORMAL
INTELIGENCIA ARTIFICIAL
dc.title.none.fl_str_mv Verification Techniques for Large Language Models
dc.type.none.fl_str_mv Trabajo final de carrera
info:eu-repo/semantics/masterThesis
dc.type.version.none.fl_str_mv info:eu-repo/semantics/publishedVersion
description Incluye bibliografía y anexos.
eu_rights_str_mv openAccess
format masterThesis
id RAD_0377c7472e3355fa87d959d6cdcedb9a
identifier_str_mv Iturbide Noria, M. (2026). Verification Techniques for Large Language Models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/8025
instacron_str Universidad ORT
institution Universidad ORT
instname_str Universidad ORT Uruguay
language eng
network_acronym_str RAD
network_name_str RAD
oai_identifier_str oai:rad.ort.edu.uy:20.500.11968/8025
publishDate 2026
publisher.none.fl_str_mv Universidad ORT Uruguay
reponame_str RAD
repository.mail.fl_str_mv rodriguez_v@ort.edu.uy
repository.name.fl_str_mv RAD - Universidad ORT Uruguay
repository_id_str 3927
rights_invalid_str_mv Acceso abierto
spelling Braberman, Victor AdrianAsarin, EugeneIturbide Noria, MartínYovine, Sergio Fabián2026-09-08T18:48:11Z2026-09-08T18:48:11Z2026Iturbide Noria, M. (2026). Verification Techniques for Large Language Models (Proyecto). Universidad ORT Uruguay, Facultad de Ingeniería. Recuperado de https://rad.ort.edu.uy/handle/20.500.11968/8025https://hdl.handle.net/20.500.11968/8025http://hdl.handle.net/20.500.11968/8025Incluye bibliografía y anexos.Este proyecto de maestría se desarrolla como una extensión de la investigación “Language Models are Few-Shot Learners” (Brown et al., 2020). Propone adaptar técnicas de verificación formal para el análisis de Grandes Modelos de Lenguaje (LLMs). El objetivo es desarrollar mecanismos sistemáticos que permitan estudiar el comportamiento de estos modelos mediante herramientas provenientes de los lenguajes formales y la verificación probabilística. Para ello, los LLMs serán modelados como modelos de lenguaje probabilísticos y se definirán interfaces formales de consulta para caracterizar tanto el comportamiento de aceptación como la predicción del siguiente símbolo. Sobre esta base, se aplicarán técnicas de aprendizaje de autómatas y verificación probabilística al vuelo a los lenguajes inducidos por los LLMs. Asimismo, se propondrán optimizaciones mediante procesamiento por lotes para las consultas de pertenencia y equivalencia utilizadas en el aprendizaje L*, con el propósito de reducir el costo computacional asociado a su aplicación sobre estos modelos. Finalmente, mediante casos de estudio con LLMs de pesos abiertos, se analizará la viabilidad y las limitaciones de emplear métodos de lenguajes formales para razonar sobre los resultados generados por estos sistemas. El proyecto busca contribuir al desarrollo de metodologías rigurosas para analizar y verificar el comportamiento de los LLMs, favoreciendo una comprensión más sistemática de sus capacidades y limitaciones.69 p., il, grafs.PDFengUniversidad ORT Uruguayinfo:eu-repo/semantics/openAccessAcceso abiertoPROYECTOS-MIPROCESAMIENTO DE DATOSMODELOS DE LENGUAJE GRANDEAPRENDIZAJE AUTOMÁTICOVERIFICACIÓN FORMALINTELIGENCIA ARTIFICIALVerification Techniques for Large Language ModelsTrabajo final de carrerainfo:eu-repo/semantics/masterThesisinfo:eu-repo/semantics/publishedVersionhttps://sisbibliotecas.ort.edu.uy/bib/98655reponame:RADinstname:Universidad ORT Uruguayinstacron:Universidad ORTFacultad de IngenieríaMasterMaster en IngenieríaProyectoProyecto (Master). Universidad ORT Uruguay, Facultad de IngenieríaFI - Master en Ingeniería - MIORIGINALMaterial completo.pdfapplication/pdf1038913https://rad.ort.edu.uy/bitstreams/3c639006-5ef9-4e7b-acc0-c6b882c6b74d/download7746901eb638952b6ec9cad08138df20MD51TEXTMaterial completo.pdf.txtWritten by FormatFilter org.dspace.app.mediafilter.TikaTextExtractionFilter on 2026-09-09T06:00:33Z (GMT).Extracted texttext/plain93053https://rad.ort.edu.uy/bitstreams/a0358877-cac5-4c6d-8df8-de1ddf5b0623/download25759f6fc2e2271b6c69d7f701acfb06MD52THUMBNAILMaterial completo.pdf.jpgWritten by FormatFilter org.dspace.app.mediafilter.PDFBoxThumbnail on 2026-09-09T06:00:34Z (GMT).Generated Thumbnailimage/jpeg3403https://rad.ort.edu.uy/bitstreams/b87d69c7-5995-4258-9209-e5c1726ad24f/downloadb1478353e19adab3c956421264f04bd5MD5320.500.11968/80252026-09-09 03:00:33.98open.accessoai:rad.ort.edu.uy:20.500.11968/8025https://rad.ort.edu.uyhttps://rad.ort.edu.uy/Universidadhttps://www.ort.edu.uy/https://rad.ort.edu.uy/server/oai/requestrodriguez_v@ort.edu.uyUruguayopendoar:39272026-09-09T06:00:33RAD - Universidad ORT Uruguayfalse
spellingShingle Verification Techniques for Large Language Models
Iturbide Noria, Martín
PROYECTOS-MI
PROCESAMIENTO DE DATOS
MODELOS DE LENGUAJE GRANDE
APRENDIZAJE AUTOMÁTICO
VERIFICACIÓN FORMAL
INTELIGENCIA ARTIFICIAL
status_str publishedVersion
title Verification Techniques for Large Language Models
title_full Verification Techniques for Large Language Models
title_fullStr Verification Techniques for Large Language Models
title_full_unstemmed Verification Techniques for Large Language Models
title_short Verification Techniques for Large Language Models
title_sort Verification Techniques for Large Language Models
topic PROYECTOS-MI
PROCESAMIENTO DE DATOS
MODELOS DE LENGUAJE GRANDE
APRENDIZAJE AUTOMÁTICO
VERIFICACIÓN FORMAL
INTELIGENCIA ARTIFICIAL
url https://hdl.handle.net/20.500.11968/8025
http://hdl.handle.net/20.500.11968/8025