Cette thèse concerne l'approche Hamilton-Jacobi-Bellman (HJB) pour des problèmes de contrôle stochastique en présence de contraintes sur l'état du système. Cette classe de problèmes se pose dans de nombreuses applications importantes, et une grande littérature les a déjà analysé sous des conditions de compatibilité fortes. La principale contribution de cette thèse est de fournir de nouvelles façons de affronter la présence de contraintes sans hypothèse de contrôlabilité. La première contribution de cette thèse est obtenue en exploitant le lien existant entre l'atteignabilité des systèmes stochastiques et des problèmes de contrôle optimal. Il est montré que en considérant un problème approprié auxiliaire de la commande optimale sans contraintes sur l'état, l'approche level-set peut être étendure pour caractériser les ensembles atteignables sous contrainte sur l'état. D'autre part l'épigraphe de la fonction valeur associée à un problème général de commande optimale stochastique sous contraintes d'état peut être caractérisée par un ensemble atteignable d'un système dynamique augmenté. Ce résultat permet l'application de la méthode level-set pour gérer la présence des contraintes sur l'état sans faire d'hypothèse de contrôlabilité. Ce lien entre les problèmes de contrôle optimalet les level-set a conduit à l'analyse théorique et numérique des équations HJB avec conditions aux limites de derivé obliques et de problèmes avec contrôles non bornés. Les estimations d'erreur d'approximation de type Chaine de Markov représentent une autre contribution de ce manuscrit. En outre, les propriétés de contrôlabilité asymptotique d'un système stochastique ont également été analysées. Une généralisation de la méthode de Zubov aux systèmes stochastiques contraints est étudiée dans le manuscrit. La dernière partie de la thèse est dédié à l'étude de problèmes de contrôle optimal ergodiques en présence de contraintes sur l'état.