Dynamic Scheduling of MapReduce Shuffle under Bandwidth Constraints - Archive ouverte HAL Access content directly
Reports (Research Report) Year : 2014

Dynamic Scheduling of MapReduce Shuffle under Bandwidth Constraints

(1, 2) , (1, 2)
1
2

Abstract

Whether it is for e-science or business, the amount of data produced every year is growing at a high rate. Managing and processing those data raises new challenges. MapReduce is one answer to the need for scalable tools able to handle the amount of data. It imposes a general structure of computation and let the implementation perform its optimizations. During the computation, there is a phase called Shuffle where every node sends a possibly large amount of data to every other node. This report proposes and evaluates six algorithms to improve data transfers during the Shuffle phase under bandwidth constraints.
Que ce soit pour l’e-science ou pour les affaires, la quantité de données produites chaque année augmente à une vitesse vertigineuse. Gérer et traiter ces données soulève de nouveaux défis. MapReduce est l’une des réponses aux besoins d’outils qui passent à l’échelle et capables de gérer ces volumes de données. Il impose une structure générale de calcul et laisse l’implémentation effectuer ses optimisations. Durant l’une des phases du calcul appelée Shuffle, tous les nœuds envoient des données potentiellement grosses à tous les autres nœuds. Ce rapport propose et évalue six algorithmes pour améliorer le transfert des données durant cette phase de Shuffle sous des contraintes de bande passante.
Fichier principal
Vignette du fichier
RR-8574.pdf (1.34 Mo) Télécharger le fichier
Origin : Files produced by the author(s)
Loading...

Dates and versions

hal-01254055 , version 1 (11-01-2016)

Identifiers

  • HAL Id : hal-01254055 , version 1

Cite

Sylvain Gault, Frédéric Desprez. Dynamic Scheduling of MapReduce Shuffle under Bandwidth Constraints. [Research Report] 8574, Inria. 2014, pp.38. ⟨hal-01254055⟩
242 View
244 Download

Share

Gmail Facebook Twitter LinkedIn More