Formation Kafka & NiFi - Ingestion de données streaming
Description
Objectif de formation : L'apprenant saura utiliser Kafka et NiFi séparément et en combinaison pour la gestion des données en streaming.
- Appréhender l’architecture de Kafka
- Comprendre le fonctionnement de Kafka dans un contexte multiclient
- Savoir publier et récupérer les données vers un cluster Kafka
- Établir ses propres Consumers & Producers avec Kafka
- Appréhender l’architecture et les flux de données de NiFi
- Construire des extentions à l’aide d’API NiFi et tierces
- Personnaliser et élaborer votre propre processeur Apache NiFi
- Savoir acquérir et traiter des données en même temps
- Data engineer, administrateurs, architectes, DevOps, développeurs…
- Maîtriser les bases du langage Java
- Avoir des savoirs basiques sur un système Unix
- 1
Présentation de Kakfa
- L’évolutions des versions de Kakfa et la complexité des systèmes
- Le marché du traitement en temps réel
- Présentation de la plateforme Kafka
- Les apports de Kafka
- L’outil Kafka en pratique
- Producers
- Brokers
- Consumers
- 2
Installation et architecture
- Installation de Kafka
- Paramètres avancés
- Prérequis matériels : le hardware
- Les fichiers journaux de Kafka
- Réplication & fiabilité
- Chemins d’écriture et de lecture de Kafka
- Partition, groupes de consumer et scalabiilté
- 3
Développement & mise en pratique
- Les usages de Kafka Streams
- Présentation des fondements de Kafka Streams
- Travaux pratiques: l’utilisation de Kafka Streams sur une application
- 4
Présentation de NiFi
- Données froides vs données chaudes
- Les outils et les technologies Big Data
- Hadoop: HDFS, MapReduce
- Spark
- Installation et paramétrage de NiFi
- Tour d’horizon de l’architecture NiFi
- Approches de développement
- Outils de développement d’applications et état d’esprit
- Extraction, transformation et chargement (ETL) des outils et de la mentalité
- Travaux pratiques: Kafka Connect
- 5
Utilisation de NiFi
- Considération sur la conception
- Composants, événements et modèles de processeur
- La gestion des erreurs
- Les services de contrôleur
- Tests et dépannage
- La contribution à Apache NiFi
- Travaux pratiques: intégration de données par des périphériques IoT avec une API web / développement d’un processeur Apache NiFi personnalisé à l’aide de JSON / streaming DataFeeds dans HDFS
Ils nous font Confiance
Nos partenaires de confiance
Questions fréquentes
FAQ : Formation Kafka & NiFi - Ingestion de données streaming
Oui, mais la prise en charge d'une formation professionnelle par un OPCO dépend de votre opérateur de compétences, de votre branche d'activité et des critères de financement applicables. Ascent Formation vous accompagne dans l'identification des possibilités de financement adaptées à votre entreprise.
Une formation inter-entreprises réunit des participants issus de différentes organisations, tandis qu'une formation intra-entreprise est organisée pour les collaborateurs d'une même entreprise. Le format intra permet notamment d'adapter le contenu et les modalités aux besoins spécifiques de vos équipes.
Selon la formation proposée, il est possible de suivre une formation professionnelle à distance, en présentiel ou selon d'autres modalités disponibles. Consultez les informations de la session concernée ou contactez-nous pour connaître les formats possibles.
Oui, une formation professionnelle peut être adaptée aux objectifs, au niveau des participants et aux besoins opérationnels de votre entreprise. Ascent Formation vous propose des parcours personnalisés pour accompagner le développement des compétences de vos équipes.
Formations similaires
IA & DataFormation Migration vers le Cloud
IA & DataFormation Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
IA & DataFormation AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
IA & Data