Hitting with Restart: A Reason for Sisyphus Labour
Résumé
Motivated by applications in telecommunications, computer science and physics, we consider a discrete-time Markov process with restart in the Borel state space. At each step the process either with a positive probability restarts from a given distribution, or with the complementary probability continues according to a Markov transition kernel. The main focus of the present work is the expectation of the hitting time (to a given target set) of the process with restart, for which we obtain the explicit formula. Observing that the process with restart is positive Harris recurrent, we obtain the expression of its unique invariant probability. Then we show the equivalence of the following statements: (a) the boundedness (with respect to the initial state) of the expectation of the hitting time; (b) the finiteness of the expectation of the hitting time for almost all the initial states with respect to the unique invariant probability; and (c) the target set is of positive measure with respect to the invariant probability. We illustrate our results with two examples in uncountable and countable state spaces.
Motivé par diverses applications provenant de télécommunications, informatique et de la physique, nous considerons un processus generale de Markov dans l'espace de Borel avec une possibilité de redémarrage. Á chaque étape, avec une probabilité le processus redémarre a partir d'une distribution donnée et avec la probabilité complémentaire le processus continue l'évolution selon une noyau de Markov. Nous étudions l'espérance du temps de premier passage á l'ensemble donné. Nous obtenons une formule explicite pour l'espérance du temps de premier passage et démontrons que le processus avec redémarrage est Harris positif récurrent. Ensuite, nous établissons que les assertions suivantes sont équivalentes : (a) le fait d'être limité (par rapport á l'état initiale) de l'espérance du temps de premier passage; (b) la finitude de l'espérance du temps de premier passage pour presque tous les états initiaux par rapport á la probabilité invariante unique; et, (c) l'ensemble cible est de mesure positive par rapport á la probabilité invariante. Enfin, nous illustrons nos résultats théoriques avec deux exemples dans les espaces dénombrables et non dénombrables.
Origine : Fichiers produits par l'(les) auteur(s)