Ordonnancement dynamique des transferts dans MapReduce sous contrainte de bande passante - Inria - Institut national de recherche en sciences et technologies du numérique Accéder directement au contenu
Communication Dans Un Congrès Année : 2013

Ordonnancement dynamique des transferts dans MapReduce sous contrainte de bande passante

Résumé

De nombreux domaines scientifiques font désormais face à un déluge de données. L'une des approches proposées pour permettre le traitement de tels volumes est le paradigme de programmation MapReduce introduit par Google. Ce schéma d'exécution très simple se compose de deux phases, map et reduce entre lesquelles a lieu une phase d'échange massif de données entre les machines exécutant l'application. Dans cet article, nous proposons un système linéaire définissant un partitionnement des données à traiter et un algorithme d'ordonnancement dynamique des transferts afin d'optimiser cette phase intermédiaire. Nous comparons cette approche à celle reposant sur un programme linéaire et un ordonnancement statique par phases. Les expériences menées montrent que notre approche produit des ordonnancements plus compacts en un temps bien plus court.
Fichier principal
Vignette du fichier
papier.pdf (301.03 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-00820361 , version 1 (03-05-2013)

Identifiants

  • HAL Id : hal-00820361 , version 1

Citer

Sylvain Gault. Ordonnancement dynamique des transferts dans MapReduce sous contrainte de bande passante. ComPAS'13 / RenPar'21 - 21eme Rencontres francophones du Parallélisme, Inria Grenoble - Rhône-Alpes, Jan 2013, Grenoble, France. ⟨hal-00820361⟩
186 Consultations
343 Téléchargements

Partager

Gmail Facebook X LinkedIn More