Ordonnancement dynamique des transferts dans MapReduce sous contrainte de bande passante

Sylvain Gault 1, *
* Auteur correspondant
1 AVALON - Algorithms and Software Architectures for Distributed and HPC Platforms
Inria Grenoble - Rhône-Alpes, LIP - Laboratoire de l'Informatique du Parallélisme
Résumé : De nombreux domaines scientifiques font désormais face à un déluge de données. L'une des approches proposées pour permettre le traitement de tels volumes est le paradigme de programmation MapReduce introduit par Google. Ce schéma d'exécution très simple se compose de deux phases, map et reduce entre lesquelles a lieu une phase d'échange massif de données entre les machines exécutant l'application. Dans cet article, nous proposons un système linéaire définissant un partitionnement des données à traiter et un algorithme d'ordonnancement dynamique des transferts afin d'optimiser cette phase intermédiaire. Nous comparons cette approche à celle reposant sur un programme linéaire et un ordonnancement statique par phases. Les expériences menées montrent que notre approche produit des ordonnancements plus compacts en un temps bien plus court.
Type de document :
Communication dans un congrès
ComPAS'13 / RenPar'21 - 21eme Rencontres francophones du Parallélisme, Jan 2013, Grenoble, France. 2013
Liste complète des métadonnées

https://hal.inria.fr/hal-00820361
Contributeur : Sylvain Gault <>
Soumis le : vendredi 3 mai 2013 - 21:14:01
Dernière modification le : vendredi 20 avril 2018 - 15:44:26
Document(s) archivé(s) le : mardi 4 avril 2017 - 04:42:59

Fichier

papier.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00820361, version 1

Collections

Citation

Sylvain Gault. Ordonnancement dynamique des transferts dans MapReduce sous contrainte de bande passante. ComPAS'13 / RenPar'21 - 21eme Rencontres francophones du Parallélisme, Jan 2013, Grenoble, France. 2013. 〈hal-00820361〉

Partager

Métriques

Consultations de la notice

416

Téléchargements de fichiers

576