Support & Downloads

Quisque actraqum nunc no dolor sit ametaugue dolor. Lorem ipsum dolor sit amet, consyect etur adipiscing elit.

s f

Contact Info
198 West 21th Street, Suite 721
New York, NY 10010
youremail@yourdomain.com
+88 (0) 101 0000 000
Follow Us

Kafka & NiFi - Ingestion de données streaming

réf : BDT-KN

Objectifs pédagogiques

  • Appréhender l’architecture de Kafka
  • Comprendre le fonctionnement de Kafka dans un contexte multiclient
  • Savoir publier et récupérer les données vers un cluster Kafka
  • Établir ses propres Consumers & Producers avec Kafka
  • Appréhender l’architecture et les flux de données de NiFi
  • Construire des extentions à l’aide d’API NiFi et tierces
  • Personnaliser et élaborer votre propre processeur Apache NiFi
  • Savoir acquérir et traiter des données en même temps

Pré-requis

Maîtriser les bases du langage Java

Avoir des savoirs basiques sur un système Unix

Public concerné

Data engineer, administrateurs, architectes, DevOps, développeurs…

Programme

  • L’évolutions des versions de Kakfa et la complexité des systèmes
  • Le marché du traitement en temps réel
  • Présentation de la plateforme Kafka
  • Les apports de Kafka
  • L’outil Kafka en pratique
  • Producers
  • Brokers
  • Consumers
  • Installation de Kafka
  • Paramètres avancés
  • Prérequis matériels : le hardware
  • Les fichiers journaux de Kafka
  • Réplication & fiabilité
  • Chemins d’écriture et de lecture de Kafka
  • Partition, groupes de consumer et scalabiilté
  • Les usages de Kafka Streams
  • Présentation des fondements de Kafka Streams

Travaux pratiques

L’utilisation de Kafka Streams sur une application

  • Données froides vs données chaudes
  • Les outils et les technologies Big Data
  • Hadoop
    • HDFS
    • MapReduce
  • Spark
  • Installation et paramétrage de NiFi
  • Tour d’horizon de l’architecture NiFi
  • Approches de développement
  • Outils de développement d’applications et état d’esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité

Travaux pratiques

Kafka Connect

  • Considération sur la conception
  • Composants, événements et modèles de processeur
  • La gestion des erreurs
  • Les services de contrôleur
  • Tests et dépannage
  • La contribution à Apache NiFi

Travaux pratiques

Intégration de données par des périphériques IoT avec une API web

Développement d’un processeur Apache NiFi personnalisé à l’aide de JSON

Streaming DataFeeds dans HDFS

Équipe pédagogique

Professionnel expert dans le Big Data

Moyens pédagogiques et techniques

  • Espace intranet de formation.
  • Documents supports de formation projetés.
  • Exposés théoriques
  • Étude de cas concrets
  • Mise à disposition en ligne de documents supports à la suite de la formation.

Dispositif de suivi

  • Émargement numérique.
  • Mises en situation.
  • Formulaires d’évaluation de la formation.
  • Certificat de réalisation de l’action de formation.

Vous avez une question ?