Búsqueda de respuestas en documentos institucionales utilizando grandes modelos de lenguaje.

Sastre, Ignacio

Supervisor(es): Rosá, Aiala - Moncecchi, Guillermo

Resumen:

Con la llegada de los grandes modelos de lenguaje (Large Language Model -LLM), los modelos conversacionales están convirtiéndose de manera progresiva en una alternativa interesante para interactuar con diferentes fuentes de información utilizando únicamente el lenguaje natural. Sin embargo, estos modelos enfrentan dificultades importantes, como las alucinaciones o razonamientos incorrectos, o la imposibilidad de presentar las fuentes de información utilizadas, lo que se hace más evidente en tareas acotadas a dominios específicos, como puede ser responder preguntas sobre un tema particular. Este proyecto se centra en la exploración e implementación de métodos que permiten acotar la generación de respuestas de los LLMs en contextos específicos. La motivación principal es construir una herramienta que asista al Espacio de Orientación y Consulta (EOC) de la Facultad de Ingeniería de la Universidad de la República en la tarea de responder consultas de estudiantes, utilizando una base de documentos institucionales como fuente de información. Se exploran varios métodos, como Retrieval-Augmented Generation (RAG), Fine-tuning de LLMs, y la utilización de Grandes ventanas de contexto. Se propone un nuevo método llamado Prompting de Derivaciones, basado en el concepto de derivaciones lógicas, que permite guiar la generación de respuestas de los LLMs. Se evalúan los métodos sobre un conjunto de preguntas y respuestas reales y se realiza un análisis de los resultados obtenidos. Finalmente, se desarrolla un prototipo de una herramienta web que permite realizar consultas sobre la Facultad de Ingeniería utilizando los diferentes métodos explorados. Este prototipo está siendo evaluado por el EOC para brindar retroalimentación y validar su utilidad en un contexto real.

Detalles Bibliográficos
2024
Procesamiento de Lenguaje Natural
Búsqueda de respuestas
Recuperación de Información
Grandes Modelos de Lenguaje
Retrieval- Augmented Generation
Español
Universidad de la República
COLIBRI
https://hdl.handle.net/20.500.12008/46066
Acceso abierto
Licencia Creative Commons Atribución (CC - By 4.0)