IA & Data

Formation Hadoop - Développement

3 jour(s) • 21h

Éligible OPCO

8,8/10 avis apprenants

Description

Objectifs de formation : à l’issue de la formation, le stagiaire sera capable de développer des applications compatibles avec la plateforme Hadoop d'Apache pour traiter des données Big Data.

Comprendre l’écosystème Hadoop Cloudera/Hortonworks
Présenter les principes du Framework Hadoop
Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux et variés
Développer des algorithmes parallèles efficaces avec MapReduce
Charger des données non structurées des systèmes HDFS et HBase

Développeurs
Chefs de projets
Data-scientists
Architectes

Avoir la connaissance d'un langage de programmation objet comme Java et du scripting

1
Présentation d'Hadoop
- Introduction & historique
- Fonctionnalités
- Tour d'horizon du projet et des modules
- Yarn & jobs MapReduce
2
MapReduce
- Principe objectif du modèle de programmation
- Fonctions map() & reduce ()
- Couples (clés, valeurs)
- Implémentation par le framework Hadoop
- Etude de la collection d'exemples
- Travaux pratiques : Écriture d'un programme et exécution avec Hadoop
3
Programmation
- Paramétrage des jobs
- Interfaces
- Chaine de production
- Partitioner, outputcollector, codecs, compresseurs
- InputFormat et OutputFormat
- Travaux pratiques : Type personnalisés : création d'un writable spécifique. Utilisation. Contraintes
4
Outils complémentaires
- Mise en place du cache distribué
- Utilisation du langage Python pour la création d'un Job MapReduce
- Répartition sur la ferme
- Forces & faiblesses
- Liaisons avec des systèmes externes
- Présentation du pont HadoopR
- Travaux pratiques : Création d'un Job MapReduce sous Python & suivi en streaming
5
Création de MapReduce avec Apache Pig
- Pattern & best practices MapReduce
- Présentation de l'outil Apache Pig
- Présentation du langage Pig Latin
- Fonctions de bases
- Fonctions personnalisées
- UDF
- Exécution
- Travaux pratiques : Installation d'Apache Pig, écriture de fonctions & exécution du programme
6
Apache Hive
- Requêtage
- Syntaxe
- Comparatif Pig / Hive
- Travaux pratiques : Création de tables & de requêtes
7
Sécurité
- Gestion de l'authentification
- Travaux pratiques : Paramétrage des ACLs

Ils nous font Confiance

Nos partenaires de confiance

Questions fréquentes

FAQ : Formation Hadoop - Développement

Oui, mais la prise en charge d'une formation professionnelle par un OPCO dépend de votre opérateur de compétences, de votre branche d'activité et des critères de financement applicables. Ascent Formation vous accompagne dans l'identification des possibilités de financement adaptées à votre entreprise.
Une formation inter-entreprises réunit des participants issus de différentes organisations, tandis qu'une formation intra-entreprise est organisée pour les collaborateurs d'une même entreprise. Le format intra permet notamment d'adapter le contenu et les modalités aux besoins spécifiques de vos équipes.
Selon la formation proposée, il est possible de suivre une formation professionnelle à distance, en présentiel ou selon d'autres modalités disponibles. Consultez les informations de la session concernée ou contactez-nous pour connaître les formats possibles.
Oui, une formation professionnelle peut être adaptée aux objectifs, au niveau des participants et aux besoins opérationnels de votre entreprise. Ascent Formation vous propose des parcours personnalisés pour accompagner le développement des compétences de vos équipes.