Formation Big Data - Architecture et infrastructure Hadoop On-Premise et sur le Cloud5
Description
Objectif de formation : Cette formation vise à fournir aux participants les connaissances et les compétences nécessaires pour concevoir, mettre en œuvre et gérer des architectures Big Data utilisant Hadoop, à la fois sur site (On-Premise) et dans des environnements Cloud.
- Acquérir une compréhension approfondie des concepts et des technologies Big Data, en mettant l'accent sur Hadoop
- Être capable de concevoir, déployer et gérer des architectures Big Data utilisant Hadoop, à la fois sur site et dans le Cloud
- Maîtriser les techniques de stockage, de traitement et d'analyse des données dans un environnement Hadoop
- Ingénieurs Big Data
- Architectes de données
- Administrateurs système
- Développeurs
- Connaissances de base en informatique et en traitement des données
- Expérience avec Hadoop et les technologies Big Data
- Familiarité avec les environnements Cloud
- 1
Introduction au Big Data et à Hadoop (5 heures)
- Définitions du Big Data et Hadoop
- Expliquer les trois V du Big Data (Volume, Vélocité, Variété) et les implications pour le stockage et le traitement des données
- Hadoop : Décrire Hadoop Distributed File System (HDFS), MapReduce, Yet Another Resource Negotiator (YARN), et discuter de leur rôle dans le traitement et l'analyse des données
- Configuration des binaires Hadoop, configuration des fichiers de configuration, et démarrage des services
- Configuration du cluster : Vérification de la connectivité entre les nœuds, exécution de commandes de diagnostic pour s'assurer que les services fonctionnent correctement
- 2
Architecture Hadoop On-Premise (6 heures)
- Conception d'une architecture Hadoop On-Premise
- Planification du cluster : Évaluation des besoins en termes de volume de données à stocker, de performances de traitement, et de disponibilité
- Stratégies pour connecter Hadoop aux entrepôts de données, aux bases de données et aux applications métier
- Discussions sur les protocoles de communication, les formats de données pris en charge, et les outils d'intégration
- Travaux pratiques : Configuration avancée d'un cluster Hadoop On-Premise (partitionnement des données, du repliement de blocs, et de la stratégie de réplication)
- 3
Stockage de données dans Hadoop (6,5 heures)
- Gestion du stockage : Explication du fonctionnement du système de fichiers distribué HDFS et de ses caractéristiques de fiabilité et de tolérance aux pannes
- Discussion sur la répartition des données en blocs, la redondance des données, et les stratégies de placement des blocs
- Exploration des différents formats de données (CSV, JSON, Parquet, etc.) et des meilleures pratiques pour les stocker dans Hadoop
- Comparaison des avantages et des inconvénients de chaque format en fonction des types de requêtes et des types d'analyse prévus
- Travaux pratiques : Utilisation de commandes Hadoop CLI et de scripts pour copier des données depuis des systèmes de fichiers locaux ou distants
- Travaux pratiques : Introduction au développement de scripts MapReduce simples pour filtrer, trier, et grouper les données
- 4
Traitement des données avec MapReduce (6,5 heures)
- Principe de fonctionnement de MapReduce pour le traitement distribué des données
- Explication du modèle MapReduce avec des exemples de tâches Map et Reduce
- Création de jobs MapReduce pour effectuer des opérations de traitement et d'analyse sur les données
- Travaux pratiques : Implémentation de la logique MapReduce pour des tâches telles que le comptage des mots, le tri, ou le calcul des agrégats
- 5
Hadoop dans le Cloud (6 heures)
- Comparaison des principales plateformes Cloud (AWS, Azure, Google Cloud) et de leurs offres pour le traitement et le stockage des données
- Migration : Stratégies et meilleures pratiques pour migrer des clusters Hadoop existants vers des environnements Cloud
- Évaluation des outils de migration disponibles, des coûts associés, et des considérations de performance et de sécurité
- Travaux pratiques : Utilisation d'outils de transfert de données comme DistCp ou les outils d'import/export Cloud pour déplacer les données
- 6
Gestion et maintenance de l'infrastructure Big Data (5 heures)
- Focus sur les outils de surveillance pour suivre les performances du cluster Hadoop et identifier les goulots d'étranglement
- Configuration de métriques de surveillance pour collecter des informations sur l'utilisation des ressources et les temps de réponse
- Configuration des politiques de sécurité pour contrôler l'accès aux données sensibles et aux fonctionnalités du système
- Travaux pratiques : Mise en place de tableaux de bord de surveillance personnalisés pour suivre les indicateurs clés de performance
Ils nous font Confiance
Nos partenaires de confiance
Questions fréquentes
FAQ : Formation Big Data - Architecture et infrastructure Hadoop On-Premise et sur le Cloud5
Oui, mais la prise en charge d'une formation professionnelle par un OPCO dépend de votre opérateur de compétences, de votre branche d'activité et des critères de financement applicables. Ascent Formation vous accompagne dans l'identification des possibilités de financement adaptées à votre entreprise.
Une formation inter-entreprises réunit des participants issus de différentes organisations, tandis qu'une formation intra-entreprise est organisée pour les collaborateurs d'une même entreprise. Le format intra permet notamment d'adapter le contenu et les modalités aux besoins spécifiques de vos équipes.
Selon la formation proposée, il est possible de suivre une formation professionnelle à distance, en présentiel ou selon d'autres modalités disponibles. Consultez les informations de la session concernée ou contactez-nous pour connaître les formats possibles.
Oui, une formation professionnelle peut être adaptée aux objectifs, au niveau des participants et aux besoins opérationnels de votre entreprise. Ascent Formation vous propose des parcours personnalisés pour accompagner le développement des compétences de vos équipes.
Formations similaires
IA & DataFormation Migration vers le Cloud
IA & DataFormation Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
IA & DataFormation AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
IA & Data