Description
Objectif de formation : L'apprenant saura utiliser Kafka et NiFi séparément et en combinaison pour la gestion des données en streaming.
Objectifs pédagogiques
- Appréhender l’architecture de Kafka
- Comprendre le fonctionnement de Kafka dans un contexte multiclient
- Savoir publier et récupérer les données vers un cluster Kafka
- Établir ses propres Consumers & Producers avec Kafka
- Appréhender l’architecture et les flux de données de NiFi
- Construire des extentions à l’aide d’API NiFi et tierces
- Personnaliser et élaborer votre propre processeur Apache NiFi
- Savoir acquérir et traiter des données en même temps
Public concerné
Data engineer, administrateurs, architectes, DevOps, développeurs…
Prérequis
Maîtriser les bases du langage Java
Avoir des savoirs basiques sur un système Unix
Déroulé du programme
1
Présentation de Kakfa
- L’évolutions des versions de Kakfa et la complexité des systèmes
- Le marché du traitement en temps réel
- Présentation de la plateforme Kafka
- Les apports de Kafka
- L’outil Kafka en pratique
- Producers
- Brokers
- Consumers
2
Installation et architecture
- Installation de Kafka
- Paramètres avancés
- Prérequis matériels : le hardware
- Les fichiers journaux de Kafka
- Réplication & fiabilité
- Chemins d’écriture et de lecture de Kafka
- Partition, groupes de consumer et scalabiilté
3
Développement & mise en pratique
- Les usages de Kafka Streams
- Présentation des fondements de Kafka Streams
- Travaux pratiques: l’utilisation de Kafka Streams sur une application
4
Présentation de NiFi
- Données froides vs données chaudes
- Les outils et les technologies Big Data
- Hadoop: HDFS, MapReduce
- Spark
- Installation et paramétrage de NiFi
- Tour d’horizon de l’architecture NiFi
- Approches de développement
- Outils de développement d’applications et état d’esprit
- Extraction, transformation et chargement (ETL) des outils et de la mentalité
- Travaux pratiques: Kafka Connect
5
Utilisation de NiFi
- Considération sur la conception
- Composants, événements et modèles de processeur
- La gestion des erreurs
- Les services de contrôleur
- Tests et dépannage
- La contribution à Apache NiFi
- Travaux pratiques: intégration de données par des périphériques IoT avec une API web / développement d’un processeur Apache NiFi personnalisé à l’aide de JSON / streaming DataFeeds dans HDFS
Informations
Durée
3 jour(s)
21h
Tarif
2100 € HT
HT
Formations similaires
IA & Data
Migration vers le Cloud
2 jour(s)
Sur demande
IA & Data
Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
3 jour(s)
Sur demande
IA & Data
AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
1 jour(s)
Sur demande
IA & Data
Analyse des données avec Microsoft Power BI (4-167)
3 jour(s)
2200 € HT