Improving Message Logging Protocols Scalability through Distributed Event Logging
Résumé
Message logging is an attractive solution to provide fault tolerance for message passing applications because it is more scalable than coordinated checkpointing. Sender-based message logging is a well known optimization that allows to save messages payload in the sender memory and so only the events corresponding to message receptions have to be logged reliably using an event logger. In existing work on message logging, the event logger has always been considered as a centralized process, limiting message logging protocols scalability. In this paper, we propose a distributed event logger. This new event logger takes advantage of multi-cores processors to be executed in parallel with application processes. It makes use of the nodes' volatile memory to save events reliably. We propose a simple gossip-based dissemination protocol to make application processes aware of new stable events. We evaluated our distributed event logger in the Open MPI library with an optimistic and a pessimistic message logging protocol. Experiments show that distributed event logging improves message logging protocols scalability.
Les protocoles à enregistrement de message sont une solution attrayante pour assurer la tolérance aux fautes d'applications à échange de messages car ils passent mieux à l'échelle que les protocoles de sauvegarde de points de reprise coordonnés. L'enregistrement de messages fondé sur l'émetteur est une optimisation bien connue qui permet de sauvegarder le contenu des messages dans la mémoire des émetteurs. Ainsi, seul les évènements associés à la réception des messages ont besoin d'être sauvegardés de manière fiable en utilisant un enregistreur d'évènements. Dans les travaux existants, l'enregistreur d'évènements a toujours été considéré comme centralisé, limitant le passage à l'échelle des protocoles à enregistrement de messages. Dans ce papier nous proposons un enregistreur d'évènements distribué. Ce nouvel enregistreur d'évènements profite des processeurs multi-cœurs pour être exécuter en parallèle avec les processus de l'application. Il utilise la mémoire volatile des nœuds pour sauvegarder les évènements de manière fiable. Nous proposons un simple algorithme de diffusion épidémique pour informer les processus applicatifs des nouveaux évènements sauvegardés de manière fiable. Nous avons évalué notre enregistreur d'évènements distribué dans la bibliothèque Open MPI avec un protocole à enregistrement de messages pessimiste et un optimiste. Nos expériences montrent que l'enregistreur d'évènements distribué améliore le passage à l'échelle des protocoles à enregistrement de messages.