Skip to Main content Skip to Navigation
Conference papers

Ordonnancement dynamique des transferts dans MapReduce sous contrainte de bande passante

Sylvain Gault 1, *
* Corresponding author
1 AVALON - Algorithms and Software Architectures for Distributed and HPC Platforms
Inria Grenoble - Rhône-Alpes, LIP - Laboratoire de l'Informatique du Parallélisme
Résumé : De nombreux domaines scientifiques font désormais face à un déluge de données. L'une des approches proposées pour permettre le traitement de tels volumes est le paradigme de programmation MapReduce introduit par Google. Ce schéma d'exécution très simple se compose de deux phases, map et reduce entre lesquelles a lieu une phase d'échange massif de données entre les machines exécutant l'application. Dans cet article, nous proposons un système linéaire définissant un partitionnement des données à traiter et un algorithme d'ordonnancement dynamique des transferts afin d'optimiser cette phase intermédiaire. Nous comparons cette approche à celle reposant sur un programme linéaire et un ordonnancement statique par phases. Les expériences menées montrent que notre approche produit des ordonnancements plus compacts en un temps bien plus court.
Complete list of metadatas

https://hal.inria.fr/hal-00820361
Contributor : Sylvain Gault <>
Submitted on : Friday, May 3, 2013 - 9:14:01 PM
Last modification on : Wednesday, November 20, 2019 - 3:19:13 AM
Document(s) archivé(s) le : Tuesday, April 4, 2017 - 4:42:59 AM

File

papier.pdf
Files produced by the author(s)

Identifiers

  • HAL Id : hal-00820361, version 1

Collections

Citation

Sylvain Gault. Ordonnancement dynamique des transferts dans MapReduce sous contrainte de bande passante. ComPAS'13 / RenPar'21 - 21eme Rencontres francophones du Parallélisme, Inria Grenoble - Rhône-Alpes, Jan 2013, Grenoble, France. ⟨hal-00820361⟩

Share

Metrics

Record views

477

Files downloads

655