Support & Downloads

Quisque actraqum nunc no dolor sit ametaugue dolor. Lorem ipsum dolor sit amet, consyect etur adipiscing elit.

s f

Contact Info
198 West 21th Street, Suite 721
New York, NY 10010
youremail@yourdomain.com
+88 (0) 101 0000 000
Follow Us

Hadoop - Développement

réf : BDT-HDD

Objectifs de formation : à l’issue de la formation, le stagiaire sera capable de développer des applications compatibles avec la plateforme Hadoop d’Apache pour traiter des données Big Data.

Objectifs pédagogiques

  • Comprendre l’écosystème Hadoop Cloudera/Hortonworks
  • Présenter les principes du Framework Hadoop
  • Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d’ensembles de données volumineux et variés
  • Développer des algorithmes parallèles efficaces avec MapReduce
  • Charger des données non structurées des systèmes HDFS et HBase

Pré-requis

Avoir la connaissance d’un langage de programmation objet comme Java et du scripting

Public concerné

Développeur, Chefs de projets, Data scientists, Architectes…

Programme

  • Introduction & historique
  • Fonctionnalités
  • Tour d’horizon du projet et des modules
  • Yarn & jobs MapReduce
  • Principe objectif du modèle de programmation
  • Fonctions map() & reduce ()
  • Couples (clés, valeurs)
  • Implémentation par le framework Hadoop
  • Etude de la collection d’exemples

Travaux pratiques

Écriture d’un programme et exécution avec Hadoop

  • Paramétrage des jobs
  • Interfaces
  • Chaine de production
  • Partitioner, outputcollector, codecs, compresseurs
  • InputFormat et OutputFormat

Travaux pratiques

Type personnalisés : création d’un writable spécifique. Utilisation. Contraintes

  • Mise en place du cache distribué
  • Utilisation du langage Python pour la création d’un Job MapReduce
  • Répartition sur la ferme
  • Forces & faiblesses
  • Liaisons avec des systèmes externes
  • Présentation du pont HadoopR

Travaux pratiques

Création d’un Job MapReduce sous Python & suivi en streaming

  • Pattern & best practices MapReduce
  • Présentation de l’outil Apache Pig
  • Présentation du langage Pig Latin
  • Fonctions de bases
  • Fonctions personnalisées
  • UDF
  • Exécution

Travaux pratiques

Installation d’Apache Pig, écriture de fonctions & exécution du programme

  • Requêtage
  • Syntaxe
  • Comparatif Pig / Hive

Travaux pratiques

Création de tables & de requêtes

  • Gestion de l’authentification

Travaux pratiques

Paramétrage des ACLs

Équipe pédagogique

Professionnel expert technique et pédagogique

Moyens pédagogiques et techniques

  • Espace intranet de formation.
  • Documents supports de formation projetés.
  • Exposés théoriques
  • Étude de cas concrets
  • Mise à disposition en ligne de documents supports à la suite de la formation.

Dispositif de suivi

  • Émargement numérique.
  • Mises en situation.
  • Formulaires d’évaluation de la formation.
  • Certificat de réalisation de l’action de formation.

Vous avez une question ?