Formation Hadoop Cloudera - Architecture & administration

• La Big Data
• L’écosystème Hadoop
• L’architecture Hadoop
• NoSQL

Travaux pratiques

Présentation des outils Cloudera Distributed Hadoop (CDH)

Cloudera Manager

• Tour d’horizon des fonctionnalités des clusters
• Pourquoi une solution de gestion de cluster ?
• Cloudera Manager : caractéristiques
• L’installation d’un cluster : éléments nécessaires

• Utilisateurs et groupes
• Privilèges des utilisateurs locaux et LDAP

• Introduction
• Réglages de configuration
• Fichiers de configuration
• Instances de rôle
• Nouveaux services
• Créer ou retirer des hôtes

Travaux pratiques

Configuration du cluster

• Fonctionnalités HDFS
• Écriture de fichiers
• Lecteur de fichiers
• Mémoire NameNode
• Sécurité HDFS
• Stockage HDFS
• Utilisation de Hadoop File Shell

Travaux pratiques

Manipuler des fichiers via HDFS

• L’utilisation des frameworks de calcul
• La gestion des ressources de cluster : YARN
• MapReduce
• Spark
• L’utilisation des frameworks de calcul sur YARN
• L’interface Web et Shell : explorer les applications YARN
• Les logs applicatifs

• Intégration des données par des sources externes : Flume, Nifi & Kafka
• Intégration des données par des bases de données relationnelles avec Sqoop
• Les Best Practices pour l’importation de données

• Introduction à la planification
• Sélection du matériel
• Virtualisation
• La gestion des réseaux
• Paramétrages des nœuds

• Hive
• Impala
• Pig

• Paramétrage des clients Hadoop
• Paramétrage de la teinte
• Système d’authentification et d’autorisation avec Hue

• Configurations avancées
• Réglages des ports Hadoop
• Sensibilisation au rack : paramétrage de HDFS
• Haute disponibilité et HDFS

• Pourquoi la sécurité ?
• Le système de sécurité d’Hadoop
• Kerberos
  • Présentation
  • Fonctionnement
  • Sécurisation d’un cluster Hadoop
• Les autres principes de sécurité

• Paramétrage des Cgroups & pools de services statistiques
• Planification des ressources
• Paramétrage des pools de ressources dynamiques
• Mémoire YARN
• Réglages du CPU
• Planifier des requêtes Impala

• Vérification de l’état HDFS
• Copier les données vers un autre cluster
• Ajout et suppression de node de cluster
• Rééquilibrage du cluster snapshots de répertoires
• Mise à niveau du cluster

• Fonctionnalité de suivi de Cloudera Hadoop
• Tests de santé
• Suivi des clusters
• Dépannage des clusters