• Introduction & historique
• Fonctionnalités
• Tour d’horizon du projet et des modules
• Yarn & jobs MapReduce

• Principe objectif du modèle de programmation
• Fonctions map() & reduce ()
• Couples (clés, valeurs)
• Implémentation par le framework Hadoop
• Etude de la collection d’exemples

Travaux pratiques

Écriture d’un programme et exécution avec Hadoop

• Paramétrage des jobs
• Interfaces
• Chaine de production
• Partitioner, outputcollector, codecs, compresseurs
• InputFormat et OutputFormat

Travaux pratiques

Type personnalisés : création d’un writable spécifique. Utilisation. Contraintes

• Mise en place du cache distribué
• Utilisation du langage Python pour la création d’un Job MapReduce
• Répartition sur la ferme
• Forces & faiblesses
• Liaisons avec des systèmes externes
• Présentation du pont HadoopR

Travaux pratiques

Création d’un Job MapReduce sous Python & suivi en streaming

• Pattern & best practices MapReduce
• Présentation de l’outil Apache Pig
• Présentation du langage Pig Latin
• Fonctions de bases
• Fonctions personnalisées
• UDF
• Exécution

Travaux pratiques

Installation d’Apache Pig, écriture de fonctions & exécution du programme

• Requêtage
• Syntaxe
• Comparatif Pig / Hive

Travaux pratiques

Création de tables & de requêtes

• Gestion de l’authentification

Travaux pratiques

Paramétrage des ACLs