Hamilton Jacobi Bellman Approach for some applied optimal control problems.
december, 2015
Type de publication :
Thèse
Editeur :
Ecole Doctorale de l'Ecole Polytechnique
HAL :
Mots clés :
Optimal control theory; Optimal trajectories; Stochastic control; Level set approach; HJB Equations;
Résumé :
The main objective of this thesis is to analyze the Hamilton Jacobi Bellman approach for some control problems of unusual forms. The first work is devoted to the numerical approximations of unbounded and discontinuous value functions associated with some stochastic control problems. We derive error estimates for monotone schemes based on a Semi-Lagrangian method (or more generally in the form of a Markov chain approximation). The proof is based on classical shaking and regularization techniques. The second contribution concerns the probabilistic reachablility analysis. In particular, we characterize the chance-constrained backward reachable set by a level set of a discontinuous value function and we use the first theoretical results to derive the corresponding error estimates. In the second part of this thesis, we study a class of state constrained optimal control problem with maximum cost. We first describe the epigraph of the value function by an auxiliary optimal control problem whose value function is Lipschitz continuous. We show that the new value function is the unique Lipschitz continuous viscosity solution of a Hamilton Jacobi equation with a Dirichlet condition. Here, we give a review of the optimal trajectories and the associated feedback control for such control problems. In particular, we prove the convergence of a sequence of approximated optimal trajectories to the continuous one. We establish a link between the control problem and a viability kernel associated with an exit time function. The obtained results for the state constrained control problem with maximum cost are then extended to the state constrained control problem with Bolza cost. The study is motivated by a real application: the abort landing during low altitude wind-shears. Many algorithms of reconstruction of optimal feedback trajectories are studied and compared from numerical and theoretical points of view.
Titre (traduction) :
Approche Hamilton-Jacobi-Bellman pour quelques problèmes appliqués de commande optimale.
Mots clés (traduction) :
Approche courbe de niveau; Equations HJB; Control Stochastique; Théorie de commande optimale; Trajectoires optimales;
Résumé (traduction) :
Le principal objectif de cette thèse est d'analyser l'approche Hamilton Jacobi Bellman appliquée à certains problèmes de contrôle optimal de formes non usuelles. La première étude concerne les estimations d'erreur des schémas monotones basés sur la méthode Semi-Lagrangian (ou plus généralement sous la forme d'une chaîne de Markov approchée). La preuve est basée sur des techniques classiques de secousse et de régularisation. Ensuite, on analyse un problème d'atteignabilité probabiliste. En particulier, on caractérise l'ensemble des points initiaux tel qu'on arrive à la cible avec une probabilité supérieure à un seuil. Ce problème est relié à une courbe de niveau d'une fonction valeur discontinue à laquelle on applique les premiers résultats théoriques pour obtenir les estimations d'erreur associées. La deuxième partie de la thèse traite d'un problème de contrôle optimal avec un coût maximum sous des contraintes d'état. Tout d'abord, on va décrire l'épigraphe de la fonction valeur par une fonction valeur Lipschitzienne d'un problème de contrôle optimal sans contraintes sur l'état. Cette nouvelle fonction est caractérisée comme l'unique solution Lipchitzienne de viscosité d'une équation Hamilton-Jacobi avec une condition de Dirichlet. Un résultat de convergence des trajectoires optimales approchées vers la trajectoire optimale continue est inclus dans ce travail. Cette étude est motivée par un problème d'atterrissage annulé avec un vent à basse altitude. De nombreux algorithmes de reconstruction de trajectoires optimales sont étudiés et comparés de points de vue théorique et numérique.
BibTeX :
@phdthesis{Ass-2015,
author={Mohamed Assellaou },
title={Hamilton Jacobi Bellman Approach for some applied optimal
control problems. },
address={Ecole Doctorale de l'Ecole Polytechnique },
year={2015 },
month={12},
}