IA & Data

Formation Développer des applications Big Data avec MapRéduce (4-120)

2 jour(s) • 12h

Éligible OPCO

8,8/10 avis apprenants

Description

Objectif général de la formation : Maîtriser la conception, le développement et l’optimisation de programmes Big Data en utilisant la technologie Hadoop MapReduce. Modalité : Toutes les modalités (présentiel, classe virtuelle et hybride) sont possibles Lieu possible de réalisation : Locaux du bénéficiaire ou locaux d’Ascent Formation, en France métropolitaine et dans les DROM-COM Nombre maximal de participants : 20 Niveau SAME : Maîtrise (M) Compétences visées : Comprendre le fonctionnement de l’architecture Hadoop et de MapReduce. Développer et déployer des programmes MapReduce. Optimiser les traitements Big Data pour des performances accrues. Identifier et résoudre les problèmes courants liés à MapReduce.

Apprendre à manipuler les données massives avec Hadoop et MapReduce.
Concevoir des applications distribuées performantes.
Intégrer MapReduce dans des pipelines de traitement de données.
Réaliser des optimisations avancées pour améliorer les temps de traitement.

Ingénieurs en données, développeurs logiciels, administrateurs Big Data et architectes de solutions souhaitant exploiter Hadoop MapReduce.

Connaissances de base en programmation Java
Compréhension des concepts de bases de données et des systèmes distribués
Familiarité avec les concepts fondamentaux du Big Data.

1
Jour 1 : Introduction et fondamentaux (6 heures)
- Présentation de l’écosystème Hadoop (1 heure)
2
Concepts clés du Big Data et de Hadoop.
3
Rôles des différents composants (HDFS, YARN, MapReduce).
- Principes de MapReduce (2 heures)
4
Fonctionnement du paradigme MapReduce.
5
Architecture interne : Mapper, Reducer, Combiner, Partitioner.
6
Études de cas : traitements simples avec MapReduce.
- Configuration et environnement de développement (2 heures)
7
Installation et configuration d’Hadoop en mode pseudo-distribué.
8
Configuration des jobs MapReduce.
9
Travaux pratiques : Déploiement de l’environnement Hadoop.
- Premier programme MapReduce (1 heure)
10
Écrire, compiler et exécuter un programme MapReduce en Java.
11
Analyse des logs et suivi de l’exécution des jobs.
12
Jour 2 : Approfondissement et applications avancées (6 heures)
- Optimisation des traitements MapReduce (2 heures)
13
Techniques d’optimisation (Combiner, Compression, Partitioning).
14
Gestion de la mémoire et des ressources.
15
Travaux pratiques : Optimisation d’un job MapReduce pour un dataset volumineux.
- Gestion des données avec HDFS (1 heure)
16
Stockage et récupération des données dans HDFS.
17
Bonnes pratiques pour organiser les fichiers et les partitions.
- Cas d’utilisation avancés (2 heures)
18
Conception de workflows complexes.
19
Intégration avec d’autres outils Big Data (ex. : Hive, Pig).
20
Travaux pratiques : Mise en œuvre d’un pipeline Big Data complet.
- Troubleshooting et gestion des erreurs (1 heure)
21
Identification des erreurs courantes dans MapReduce.
22
Bonnes pratiques pour le debugging et la surveillance.

Ils nous font Confiance

Nos partenaires de confiance

Questions fréquentes

FAQ : Formation Développer des applications Big Data avec MapRéduce (4-120)

Oui, mais la prise en charge d'une formation professionnelle par un OPCO dépend de votre opérateur de compétences, de votre branche d'activité et des critères de financement applicables. Ascent Formation vous accompagne dans l'identification des possibilités de financement adaptées à votre entreprise.
Une formation inter-entreprises réunit des participants issus de différentes organisations, tandis qu'une formation intra-entreprise est organisée pour les collaborateurs d'une même entreprise. Le format intra permet notamment d'adapter le contenu et les modalités aux besoins spécifiques de vos équipes.
Selon la formation proposée, il est possible de suivre une formation professionnelle à distance, en présentiel ou selon d'autres modalités disponibles. Consultez les informations de la session concernée ou contactez-nous pour connaître les formats possibles.
Oui, une formation professionnelle peut être adaptée aux objectifs, au niveau des participants et aux besoins opérationnels de votre entreprise. Ascent Formation vous propose des parcours personnalisés pour accompagner le développement des compétences de vos équipes.