Aperçu du cours
Objectif de formation : L’apprenant saura utiliser Kafka et NiFi séparément et en combinaison pour la gestion des données en streaming.
Prérequis
- Maîtriser les bases du langage Java
- Avoir des savoirs basiques sur un système Unix
Objectifs pédagogiques
- Appréhender l’architecture de Kafka
- Comprendre le fonctionnement de Kafka dans un contexte multiclient
- Savoir publier et récupérer les données vers un cluster Kafka
- Établir ses propres Consumers & Producers avec Kafka
- Appréhender l’architecture et les flux de données de NiFi
- Construire des extentions à l’aide d’API NiFi et tierces
- Personnaliser et élaborer votre propre processeur Apache NiFi
- Savoir acquérir et traiter des données en même temps
Public ciblé
- Data engineer, administrateurs, architectes, DevOps, développeurs…
Programme de formation
-
Présentation de Kakfa
-
L’évolutions des versions de Kakfa et la complexité des systèmes
-
Le marché du traitement en temps réel
-
Présentation de la plateforme Kafka
-
Les apports de Kafka
-
L’outil Kafka en pratique
-
Producers
-
Brokers
-
Consumers
-
-
Installation et architecture
-
Installation de Kafka
-
Paramètres avancés
-
Prérequis matériels : le hardware
-
Les fichiers journaux de Kafka
-
Réplication & fiabilité
-
Chemins d’écriture et de lecture de Kafka
-
Partition, groupes de consumer et scalabiilté
-
-
Développement & mise en pratique
-
Les usages de Kafka Streams
-
Présentation des fondements de Kafka Streams
-
Travaux pratiques: l’utilisation de Kafka Streams sur une application
-
-
Présentation de NiFi
-
Données froides vs données chaudes
-
Les outils et les technologies Big Data
-
Hadoop: HDFS, MapReduce
-
Spark
-
Installation et paramétrage de NiFi
-
Tour d’horizon de l’architecture NiFi
-
Approches de développement
-
Outils de développement d’applications et état d’esprit
-
Extraction, transformation et chargement (ETL) des outils et de la mentalité
-
Travaux pratiques: Kafka Connect
-
-
Utilisation de NiFi
-
Considération sur la conception
-
Composants, événements et modèles de processeur
-
La gestion des erreurs
-
Les services de contrôleur
-
Tests et dépannage
-
La contribution à Apache NiFi
-
Travaux pratiques: intégration de données par des périphériques IoT avec une API web / développement d’un processeur Apache NiFi personnalisé à l’aide de JSON / streaming DataFeeds dans HDFS
-
Instructeur
