Dynamic Scheduling of MapReduce Shuffle under Bandwidth Constraints

Résumé : Que ce soit pour l’e-science ou pour les affaires, la quantité de données produites chaque année augmente à une vitesse vertigineuse. Gérer et traiter ces données soulève de nouveaux défis. MapReduce est l’une des réponses aux besoins d’outils qui passent à l’échelle et capables de gérer ces volumes de données. Il impose une structure générale de calcul et laisse l’implémentation effectuer ses optimisations. Durant l’une des phases du calcul appelée Shuffle, tous les nœuds envoient des données potentiellement grosses à tous les autres nœuds. Ce rapport propose et évalue six algorithmes pour améliorer le transfert des données durant cette phase de Shuffle sous des contraintes de bande passante.
Type de document :
Rapport
[Research Report] 8574, Inria. 2014, pp.38
Liste complète des métadonnées

Littérature citée [37 références]  Voir  Masquer  Télécharger

https://hal.inria.fr/hal-01254055
Contributeur : Christian Perez <>
Soumis le : lundi 11 janvier 2016 - 16:51:49
Dernière modification le : mardi 16 janvier 2018 - 15:35:21
Document(s) archivé(s) le : mardi 12 avril 2016 - 11:36:57

Fichier

RR-8574.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01254055, version 1

Collections

Citation

Sylvain Gault, Frédéric Desprez. Dynamic Scheduling of MapReduce Shuffle under Bandwidth Constraints. [Research Report] 8574, Inria. 2014, pp.38. 〈hal-01254055〉

Partager

Métriques

Consultations de la notice

281

Téléchargements de fichiers

93