El objetivo principal del proyecto era la búsqueda de técnicas de aproximación a la Política Óptima de Operación de un Sistema Dinámico Estocástico. En particular aplicada al sistema de generación de energía eléctrica. La resolución de este tipo de problemas sufre de lo que se conoce como La Maldición de la Dimensionalidad de Bellman que establece que la complejidad de resolución del problema de encontrar la Política Óptima para la operación de un sistema dinámico crece exponencialmente con el aumento de las dimensiones del Espacio de Estado del sistema. El proyecto no es más que un intento de luchar contra dicha maldición. El conjunto de herramientas desarrolladas dieron lugar a una aplicación que llamamos: Tractorcito que dada una Sala SimSEE y una estructura de aprendizaje realiza simulaciones para ir aprendiendo la manera de comportarse (Política de Operación) que resulte en un menor costo de producción. A la aplicación la llamamos Tractorcito, pues dado que, sobre todo al inicio, las simulaciones conducen al Sistema "por cualquier lugar" y el Simulador, debe funcionar igual para poder calcular el costo de operación, el simulador en este modo recuerda al funcionamiento de un Tractor capaz de atravesar por cualquier camino, bañado, cerro de piedra, etc. El desarrollo del Tractorcito, implicó la adaptación de la herramienta SimSEE para poder actuaren conjunto con la capacidad de aprendizaje por refuerzo del Tractorcito. El Tractorcito está dotado de un conjunto de Redes Neuronales cuyos parámetros van cambiando durante la experiencia del propio Tractorcito. La capacidad de aprendizaje está dada por la complejidad asignada a dichas Redes Neuronales. Para un sistema dado y complejidad de representación, el Tractorcito que logra menor costo es el más exitoso. El problema de aprendizaje está planteado en el sentido de que sabiendo que la complejidad de representación es limitada, dicha capacidad sea optimizada (durante el aprendizaje continuo) a aquellos aspectos que resultan más relevantes en el objetivo de redución el valor esperado del costo de la operación futura. El resultado clásico (recursión de Bellman) es que la información que determina la Política de Operación se encuentra en las derivadas espaciales de la función que determina el costo esperado de la operación futura a partir de un estado dado. En la primer etapa del proyecto se tomaron decisiones respecto de las técnicas a implementar para la resolución del problema principal (Programación Dinámica Estocástica Aproximada). Cumpliendo con lo resuelto se implementó un módulo de Aproximación General a cualquier tipo de función CF(X):ℜn→ℜ. En la aplicación del algoritmo se distingue la necesidad de combinar las iteraciones de mejora de la Política de Operación en base a simulaciones hacia adelante (forward) en las que el estado del sistema evoluciona siguiendo la ecuación de evolución de estado con simulaciones en las que el estado evoluciona de forma “guiada” a los efectos de obtener una exploración más robusta del espacio de Estados. Para la implementación de esta nueva aproximación del valor esperado del costo de la operación futura (Costo Futuro), se tuvieron que implementar varios cambios en la plataforma SimSEE, las cuales se detallan en la sección 3. El objetivo principal de este trabajo es la identificación, desarrollo e implementación de técnicas de representación aproximada de la información contenida en CF, este aspecto de la implementación se documenta en la sección 2, en donde se hace un listado de las técnicas estudiadas de las cuales se implementaron dos de ellas; Mínimos Cuadrados y Redes Neuronales. La información útil de la Política de Operación se encuentra en las derivadas del Costo Futuro respecto a los estados por lo que es importante poder representar la variación δCF asociada a un movimiento del estado , esto lo desarrollaremos en detalle en la sección 2.4.En la sección 4 se analizan aspectos claves en la resolución de aproximar la función de costo futuro utilizando RN, como por ejemplo cuales son las mejores configuraciones para las redes neuronales en el caso de querer representar el CF, inicialización de las neuronas para evitar mínimos locales, modos de evolución para lograr abarcar todo el espacio de estados en el entrenamiento de la red neuronal y la especialización de cada neurona para la explicación del CF. A medida que fue trascurriendo el proyecto fueron surgiendo simplificaciones muy importantes, las cuales implican ahorros en tiempo y poder de computo importantes, entre ellos se encuentra la capacidad de poder realizar enganches de Políticas de Operación, esto facilita en el sentido de poder dividir los horizontes de simulación en etapas, para esto es necesario realizar correctamente los enganches, que si bien esto ya se hacia en la política de operación convencional a partir de la grilla de valores de CF, se vio la necesidad de lograr los enganches de las derivadas del CF, este aspecto se detalla en la sección 5. La otra simplificación es la posibilidad de incorporar una parsimonia en los datos, ya sea continuidad o estacionalidad anual, que claramente existe en los sistemas físicos, como el sistema eléctrico, en la sección 6 se muestra la implementación. En las secciones 7, 8, 9 y 10 se analizan distintos resultados, con enfoque en la salas de largo plazo del sistema uruguayo, comparando los resultados con el método convencional. Finalmente en la sección 12 se realiza un revisión de la bibliografía con la cual se baso este proyecto. En el algoritmo clásico (recursión de Bellman) la disponibilidad de las unidades de generación queda mal representada al perderse la inercia de los procesos de rotura/reparación (por realizar sorteos independientes en cada paso de la etapa de optimización). En el algoritmo propuesto (aproximación de CF por simulaciones hacia delante) la inercia de los procesos rotura/reparación está correctamente representada aunque no se defina en forma explícita el estado de las unidades. Las simulaciones hacia adelante no tienen las simplificaciones que son necesarias hacer en la recursión "hacia atrás" en el tiempo.