inria-00182443, version 2
Moments analysis in Markov reward models
François Castella
a, 1, 2Guillaume Dujardin a, 1, 2Bruno Sericola b, 3
N° PI 1869 (2007)
Résumé : We analyze the moments of the accumulated reward over the interval (0, t) in a continuous-time Markov chain. We develop a numerical procedure to efficiently compute the normalized moments using the uniformization technique. Our algorithm involves auxiliary quantities whose convergence is analyzed, and for which we provide a probabilistic interpretation.
- a – Université Rennes I
- b – INRIA
- 1 : IPSO (INRIA - IRMAR)
- CNRS : UMR6074 – INRIA – Université de Rennes 1
- 2 : Institut de Recherche Mathématique de Rennes (IRMAR)
- CNRS : UMR6625 – Université de Rennes 1 – École normale supérieure de Cachan - ENS Cachan – Institut National des Sciences Appliquées (INSA) : - RENNES – Université de Rennes II - Haute Bretagne
- 3 : DIONYSOS (INRIA - IRISA)
- INRIA – Université de Rennes 1 – CNRS : UMR6074
- Domaine : Informatique/Recherche opérationnelle
Mathématiques/Probabilités - Mots-clés : Markov models – accumulated reward – performability – uniformization
- Référence interne : PI 1869
- Versions disponibles : v1 (26-10-2007) v2 (13-11-2007)
- inria-00182443, version 2
- http://hal.inria.fr/inria-00182443
- oai:hal.inria.fr:inria-00182443
- Contributeur : Anne Jaigu
- Soumis le : Mardi 13 Novembre 2007, 15:09:00
- Dernière modification le : Vendredi 19 Mars 2010, 13:41:34
Documents associés
Exporter