Support & Downloads

Quisque actraqum nunc no dolor sit ametaugue dolor. Lorem ipsum dolor sit amet, consyect etur adipiscing elit.

s f

Contact Info
198 West 21th Street, Suite 721
New York, NY 10010
youremail@yourdomain.com
+88 (0) 101 0000 000
Follow Us

Hadoop Cloudera - Architecture & administration

réf : BDT-HA

Objectifs pédagogiques

  • Appréhender le framework Hadoop
  • Administrer des clusters Cloudera

Pré-requis

Maîtriser les commandes Shell

Avoir des connaissances de base autour des requêtes SQL

Public concerné

Administrateurs système et consultants SI…

Programme

  • La Big Data
  • L’écosystème Hadoop
  • L’architecture Hadoop
  • NoSQL

Travaux pratiques

Présentation des outils Cloudera Distributed Hadoop (CDH)

Cloudera Manager

  • Tour d’horizon des fonctionnalités des clusters
  • Pourquoi une solution de gestion de cluster ?
  • Cloudera Manager : caractéristiques
  • L’installation d’un cluster : éléments nécessaires
  • Utilisateurs et groupes
  • Privilèges des utilisateurs locaux et LDAP
  • Introduction
  • Réglages de configuration
  • Fichiers de configuration
  • Instances de rôle
  • Nouveaux services
  • Créer ou retirer des hôtes

Travaux pratiques

Configuration du cluster

  • Fonctionnalités HDFS
  • Écriture de fichiers
  • Lecteur de fichiers
  • Mémoire NameNode
  • Sécurité HDFS
  • Stockage HDFS
  • Utilisation de Hadoop File Shell

Travaux pratiques

Manipuler des fichiers via HDFS

  • L’utilisation des frameworks de calcul
  • La gestion des ressources de cluster : YARN
  • MapReduce
  • Spark
  • L’utilisation des frameworks de calcul sur YARN
  • L’interface Web et Shell : explorer les applications YARN
  • Les logs applicatifs
  • Intégration des données par des sources externes : Flume, Nifi & Kafka
  • Intégration des données par des bases de données relationnelles avec Sqoop
  • Les Best Practices pour l’importation de données
  • Introduction à la planification
  • Sélection du matériel
  • Virtualisation
  • La gestion des réseaux
  • Paramétrages des nœuds
  • Paramétrage des clients Hadoop
  • Paramétrage de la teinte
  • Système d’authentification et d’autorisation avec Hue
  • Configurations avancées
  • Réglages des ports Hadoop
  • Sensibilisation au rack : paramétrage de HDFS
  • Haute disponibilité et HDFS
  • Pourquoi la sécurité ?
  • Le système de sécurité d’Hadoop
  • Kerberos
    • Présentation
    • Fonctionnement
    • Sécurisation d’un cluster Hadoop
  • Les autres principes de sécurité
  • Paramétrage des Cgroups & pools de services statistiques
  • Planification des ressources
  • Paramétrage des pools de ressources dynamiques
  • Mémoire YARN
  • Réglages du CPU
  • Planifier des requêtes Impala
  • Vérification de l’état HDFS
  • Copier les données vers un autre cluster
  • Ajout et suppression de node de cluster
  • Rééquilibrage du cluster snapshots de répertoires
  • Mise à niveau du cluster
  • Fonctionnalité de suivi de Cloudera Hadoop
  • Tests de santé
  • Suivi des clusters
  • Dépannage des clusters

Équipe pédagogique

Professionnel expert dans la Big Data

Moyens pédagogiques et techniques

  • Espace intranet de formation.
  • Documents supports de formation projetés.
  • Exposés théoriques
  • Étude de cas concrets
  • Mise à disposition en ligne de documents supports à la suite de la formation.

Dispositif de suivi

  • Émargement numérique.
  • Mises en situation.
  • Formulaires d’évaluation de la formation.
  • Certificat de réalisation de l’action de formation.

Vous avez une question ?