Description
Objectifs de formation : à l’issue de la formation, le stagiaire sera capable de développer des applications compatibles avec la plateforme Hadoop d'Apache pour traiter des données Big Data.
Objectifs pédagogiques
- Comprendre l’écosystème Hadoop Cloudera/Hortonworks
- Présenter les principes du Framework Hadoop
- Mettre en œuvre des tâches Hadoop pour extraire des éléments pertinents d'ensembles de données volumineux et variés
- Développer des algorithmes parallèles efficaces avec MapReduce
- Charger des données non structurées des systèmes HDFS et HBase
Public concerné
Développeurs
Chefs de projets
Data-scientists
Architectes
Prérequis
Avoir la connaissance d'un langage de programmation objet comme Java et du scripting
Déroulé du programme
1
Présentation d'Hadoop
- Introduction & historique
- Fonctionnalités
- Tour d'horizon du projet et des modules
- Yarn & jobs MapReduce
2
MapReduce
- Principe objectif du modèle de programmation
- Fonctions map() & reduce ()
- Couples (clés, valeurs)
- Implémentation par le framework Hadoop
- Etude de la collection d'exemples
- Travaux pratiques : Écriture d'un programme et exécution avec Hadoop
3
Programmation
- Paramétrage des jobs
- Interfaces
- Chaine de production
- Partitioner, outputcollector, codecs, compresseurs
- InputFormat et OutputFormat
- Travaux pratiques : Type personnalisés : création d'un writable spécifique. Utilisation. Contraintes
4
Outils complémentaires
- Mise en place du cache distribué
- Utilisation du langage Python pour la création d'un Job MapReduce
- Répartition sur la ferme
- Forces & faiblesses
- Liaisons avec des systèmes externes
- Présentation du pont HadoopR
- Travaux pratiques : Création d'un Job MapReduce sous Python & suivi en streaming
5
Création de MapReduce avec Apache Pig
- Pattern & best practices MapReduce
- Présentation de l'outil Apache Pig
- Présentation du langage Pig Latin
- Fonctions de bases
- Fonctions personnalisées
- UDF
- Exécution
- Travaux pratiques : Installation d'Apache Pig, écriture de fonctions & exécution du programme
6
Apache Hive
- Requêtage
- Syntaxe
- Comparatif Pig / Hive
- Travaux pratiques : Création de tables & de requêtes
7
Sécurité
- Gestion de l'authentification
- Travaux pratiques : Paramétrage des ACLs
Informations
Durée
3 jour(s)
21h
Tarif
2100 € HT
HT
Formations similaires
IA & Data
Migration vers le Cloud
2 jour(s)
Sur demande
IA & Data
Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
3 jour(s)
Sur demande
IA & Data
AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
1 jour(s)
Sur demande
IA & Data
Analyse des données avec Microsoft Power BI (4-167)
3 jour(s)
2200 € HT