Optymalne sterowanie

1. Po co optymalne sterowanie

Wszystkie regulatory z poprzednich modułów — PID, SMC, LQR — wzięły się skądś. PID to historyczna heurystyka. LQR jest matematycznie wyprowadzone z głębszej teorii. SMC i MPC też mają fundament teoretyczny. Tym fundamentem jest optymalne sterowanie.

Podstawowe pytanie:

Znajdź najlepszą trajektorię sterowania $u(t)$ minimalizującą funkcję kosztu $J$, gdzie:

• L — koszt natychmiastowy (running cost), np. błąd² + energia sterowania²;
• Φ — koszt końcowy (terminal cost), np. penalty za odchylenie od celu;
• f — dynamika planta jako ograniczenie.

Trzy główne podejścia rozwiązania tego problemu:

1. Rachunek wariacyjny — XVIII wiek, klasyczna metoda Eulera-Lagrange'a (§2).
2. Zasada maksimum Pontryagina — lata 50. XX wieku, ZSRR (§5).
3. Dynamic programming / HJB — Bellman (USA, lata 50.) (§3, §6).

Każde podejście daje to samo rozwiązanie dla problemów jasno postawionych, ale różni się sposobem obliczeń i typami problemów, do których pasuje.

2. Rachunek wariacyjny — krótka historia

Odpowiedź: cykloida — krzywa zataczana przez punkt na okręgu toczącym się po prostej. Nie linia prosta, nie parabola. Geometrycznie nieoczywiste; matematycznie wyniknęło z rachunku wariacyjnego.

Wzór Eulera-Lagrange'a

Mając funkcjonał $J[y] = \int_a^b L(x, y(x), y'(x))\,dx$, ekstremum $y^*(x)$ spełnia:

Równanie różniczkowe drugiego rzędu na $y(x)$. Dla brachistochrony: $L = \sqrt{1 + (y')^2}/\sqrt{2gy}$, rozwiązanie: cykloida.

Dlaczego to wszystko ważne dla sterowania

Klasyczny problem optymalnego sterowania $\min \int L(x, u)\,dt$ z ograniczeniem $\dot x = f(x, u)$ można sformułować przez lagrangian z mnożnikami:

Wzór Eulera-Lagrange'a zastosowany do tego daje zasadę maksimum Pontryagina (§5) jako uogólnienie do problemów z ograniczeniami nieholonomicznymi.

3. Zasada Bellmana i dynamic programming

Zasada optymalności Bellmana (1957)

„Optymalna polityka ma tę własność, że niezależnie od początkowego stanu i pierwszej decyzji, pozostałe decyzje muszą stanowić optymalną politykę dla stanu wynikłego z pierwszej decyzji."

Formalnie: niech $V(x, t)$ = optymalny koszt pozostały od stanu x w chwili t:

Bellman wykazał, że $V$ spełnia rekurencję:

Czyli: optymalne od teraz = najmniej (natychmiastowy koszt + optymalne od następnego stanu). To fundamentalne równanie — bazaza dla:

• Algorytmu dynamic programming (DP) — zbiorówą iteracja wstecz
• Równania HJB (§6) — granica DP dla Δt → 0
• Algorytmu value iteration w RL — dyskretny analog
• Q-learning, DQN — uczenie się V (lub Q) przez próbkowanie

4. Dynamic programming na siatce — wizualizacja

Klasyczny przykład DP: znalezienie najkrótszej drogi w siatce od dowolnego pola do celu, omijając przeszkody. Każdy krok kosztuje 1. Cel daje nagrodę 100.

Algorytm value iteration: iteracyjnie aktualizuj $V(s)$ wzorem Bellmana, aż zbiegnie. Każda iteracja propaguje wartość o jedno pole bliżej celu.

Przewijaj suwakiem od 0 do 30 iteracji — zobaczysz, jak fala wartości rozchodzi się od celu. Po ~25 iteracjach wszystkie pola mają V skonwergowane do prawdziwych wartości. Strzałki to polityka: gdziekolwiek się znajdziesz, idź tam gdzie strzałka.

Kompleksowość: dla N stanów i K akcji, każda iteracja to O(NK). Sumarycznie do konwergencji ~D iteracji gdzie D to średnica grafu. Dla naszej siatki 10×8: ~30 iteracji. Dla ciągłej przestrzeni stanu — algorytm jest niewykonalny (curse of dimensionality). Stąd HJB i metody przybliżone.

5. Zasada maksimum Pontryagina

Hamiltonian

Definiujemy hamiltonian:

gdzie $\lambda(t)$ to costate (zmienna sprzężona, „mnożnik Lagrange'a" dla ograniczenia $\dot x = f$). Wymiar $\lambda$ = wymiar stanu.

Zasada maksimum (1956)

Optymalna trajektoria $(x^*(t), u^*(t), \lambda^*(t))$ spełnia jednocześnie trzy warunki:

1. Dynamika stanu: $\dot x = \partial H/\partial \lambda = f(x, u)$
2. Dynamika costate (równania adjoint): $\dot \lambda = -\partial H/\partial x$
3. Warunek minimum: $u^*(t) = \arg\min_u H(x^*(t), u, \lambda^*(t))$

+ warunki brzegowe (boundary conditions): $x(0)$ znany, $\lambda(T)$ wyznaczony z funkcji terminalnej.

Interpretacja

Costate $\lambda(t)$ ma fizyczną interpretację: sensitivity kosztu względem zmiany stanu w chwili t. Jeśli $\lambda_i(t)$ duże — perturbacja $x_i$ w chwili t bardzo wpływa na całkowity koszt. W chwili końcowej: $\lambda(T) = \partial \Phi / \partial x$.

Boundary value problem

Pontryagin daje two-point boundary value problem (TPBVP): dwa równania (na x i λ) z warunkami brzegowymi na końcach. Trudniejszy do rozwiązania niż klasyczne IVP, ale algorytmy istnieją (shooting method, collocation, indirect methods).

Bang-bang i singular control

Gdy hamiltonian jest liniowy w u (np. dla planta liniowego z kwadratowym kosztem JEDNYM członem w u), warunek minimum daje bang-bang: $u^* = u_{max}\,\mathrm{sign}(\partial H/\partial u)$. Sterowanie skacze między ekstremami. SMC ma głębokie powiązanie z bang-bang Pontryaginowskim — pełny dowód poza zakresem.

Lektura: Liberzon „Calculus of Variations and Optimal Control Theory" (2012); Kirk „Optimal Control Theory" (1970) — klasyczny.

6. Równanie Hamiltona-Jacobiego-Bellmana

Wyprowadzenie

Z rekurencji Bellmana, dla małego $\Delta t$:

Taylor: $V(x + f\Delta t, t + \Delta t) \approx V(x, t) + \frac{\partial V}{\partial t}\Delta t + \nabla_x V \cdot f\, \Delta t$. Podstawiając i biorąc $\Delta t \to 0$:

To jest równanie HJB (Hamilton-Jacobi-Bellman) z warunkiem brzegowym $V(x, T) = \Phi(x)$.

Optymalna polityka z V

Gdy znamy $V(x, t)$, optymalne sterowanie wyznacza się algebraicznie:

Gradient $\nabla_x V$ gra rolę costate $\lambda$ z Pontryagina — dualność.

Problem rozwiązywalności

HJB to nielinowe równanie cząstkowe w przestrzeni stanu. Analitycznie rozwiązywalne tylko dla specjalnych klas (LQR, niektóre minimum-time problems). Dla ogólnych nieliniowych — trzeba przybliżeń:

• Galerkin / value function approximation (RL bazuje na tym)
• Differential dynamic programming (DDP)
• Policy iteration
• Sum-of-squares programming (dla polynomialnych)

7. LQR jako szczególny przypadek HJB

Tutaj wszystko się składa: pokazujemy że LQR z modułu 5 wynika wprost z HJB dla specyficznego problemu.

Setup

Plant liniowy: $\dot x = Ax + Bu$. Koszt kwadratowy: $L = x^T Q x + u^T R u$. Horyzont nieskończony: $T \to \infty$.

Hipoteza: V jest kwadratowa

Spróbujmy $V(x) = x^T P x$ dla pewnej macierzy $P$ symetrycznej dodatnio określonej (V nie zależy od t bo problem stacjonarny).

Podstawiamy do HJB

$\nabla_x V = 2 P x$. Optymalne u z HJB:

Gradient względem u: $2 R u + 2 B^T P x = 0$ ⇒

To jest klasyczne LQR feedback! K wyrażone przez P.

Algebraiczne równanie Riccatiego (ARE)

Wstawiamy $u^*$ z powrotem do HJB:

Ponieważ to musi zachodzić dla każdego x:

Algebraiczne równanie Riccatiego dla LQR. Rozwiązanie P daje optymalne gain K. To dokładnie ten DARE, który implementujemy w module 5 (mpc.ts).

Co to znaczy

LQR nie jest heurystyką — jest optymalnym regulatorem dla klasy problemów LQ. Pochodzi wprost z fundamentalnej teorii. Stąd jego centralność w teorii sterowania: jeden z niewielu „dokładnie rozwiązanych" problemów optymalnego sterowania w nieskończonym horyzoncie.

8. Connection z reinforcement learning

Reinforcement learning (RL) i optymalne sterowanie to dwie twarze tego samego problemu. Różnica:

• Optymalne sterowanie — znamy model $f, L$, rozwiązujemy HJB / Pontryagina / Bellmana analitycznie lub numerycznie offline.
• RL — nie znamy modelu, uczymy się z eksperymentu, próbkując state-action-reward.

Bellman equation w RL

Q-learning używa tej samej rekurencji Bellmana co DP:

Gdzie $Q(s, a)$ = expected cumulative reward starting from s, taking a, then optimal. To jest dyskretna Bellman equation z dyskontem $\gamma$ (zamiast $T$ horizon).

Deep RL

W praktyce $Q(s, a)$ reprezentowana przez sieć neuronową (DQN, Mnih 2015). Gradient descent minimalizuje błąd Bellmana — równoważnik value iteration dla ciągłych stanów.

Inverse optimal control / IRL

Inverse RL: znając polityki ekspertów, wyznacz funkcję kosztu którą optymalizują. Standardowe w autonomicznej jeździe (uczymy się ludzkich preferencji).

Aktywny obszar badań

Łączenie RL z klasycznym sterowaniem:

• Model-based RL — uczy modelu f̂ obok polityki, planuje na nim (jak MPC z uczonym modelem)
• Safe RL — ograniczenia bezpieczeństwa jako control barrier functions (atlas → H∞ i pokrewne)
• Adaptive optimal control (Lewis, Vrabie) — RL rozwiązujący ARE online, bez znajomości A, B

Klasyczna lektura: Bertsekas „Reinforcement Learning and Optimal Control" (2019) — most między klasyką a RL. Bertsekas, Tsitsiklis „Neuro-Dynamic Programming" (1996) — pionierska książka. Sutton & Barto „Reinforcement Learning" (2nd ed., 2018) — RL kanon.