El presente trabajo analiza condiciones necesarias y suficientes para la estabilidad de un algoritmo de optimización dinámica estocástica para el cálculo del costo del agua en un sistema eléctrico con una planta de generación hidroeléctrica. Se estima la región de estabilidad y se presentan diferentes simulaciones para parámetros dentro y fuera de la misma. Se establece una relación entre el paso de integración temporal, la discretización espacial y los máximos flujos de entrada y salida del embalse. A efectos de mostrar ventajas y desventajas del método propuesto, se presentan simulaciones del sistema eléctrico uruguayo con cuatro centrales de generación hidroeléctrica. En este caso, las condiciones de estabilidad imponen un paso de integración temporal muy pequeño, lo que resulta en un tiempo de simulación muy grande.