Aperçu du cours
Objectif de formation : L’apprenant saura utiliser Kafka et NiFi séparément et en combinaison pour la gestion des données en streaming.
Prérequis
- Maîtriser les bases du langage Java
- Avoir des savoirs basiques sur un système Unix
Fonctionnalités
- Appréhender l’architecture de Kafka
- Comprendre le fonctionnement de Kafka dans un contexte multiclient
- Savoir publier et récupérer les données vers un cluster Kafka
- Établir ses propres Consumers & Producers avec Kafka
- Appréhender l’architecture et les flux de données de NiFi
- Construire des extentions à l’aide d’API NiFi et tierces
- Personnaliser et élaborer votre propre processeur Apache NiFi
- Savoir acquérir et traiter des données en même temps
Public ciblé
- Data engineer, administrateurs, architectes, DevOps, développeurs…
Détails
- 10 Sections
- 70 Lessons
- 21 heures
Expand all sectionsCollapse all sections
- Présentation de Kakfa8
- Présentation de Kakfa8
- Installation et architecture7
- Installation et architecture7
- Développement & mise en pratique3
- Développement & mise en pratique3
- Présentation de NiFi10
- 7.1Données froides vs données chaudes
- 7.2Les outils et les technologies Big Data
- 7.3Hadoop: HDFS, MapReduce
- 7.4Spark
- 7.5Installation et paramétrage de NiFi
- 7.6Tour d’horizon de l’architecture NiFi
- 7.7Approches de développement
- 7.8Outils de développement d’applications et état d’esprit
- 7.9Extraction, transformation et chargement (ETL) des outils et de la mentalité
- 7.10Travaux pratiques: Kafka Connect
- Présentation de NiFi10
- 8.1Données froides vs données chaudes
- 8.2Les outils et les technologies Big Data
- 8.3Hadoop: HDFS, MapReduce
- 8.4Spark
- 8.5Installation et paramétrage de NiFi
- 8.6Tour d’horizon de l’architecture NiFi
- 8.7Approches de développement
- 8.8Outils de développement d’applications et état d’esprit
- 8.9Extraction, transformation et chargement (ETL) des outils et de la mentalité
- 8.10Travaux pratiques: Kafka Connect
- Utilisation de NiFi7
- 9.1Considération sur la conception
- 9.2Composants, événements et modèles de processeur
- 9.3La gestion des erreurs
- 9.4Les services de contrôleur
- 9.5Tests et dépannage
- 9.6La contribution à Apache NiFi
- 9.7Travaux pratiques: intégration de données par des périphériques IoT avec une API web / développement d’un processeur Apache NiFi personnalisé à l’aide de JSON / streaming DataFeeds dans HDFS
- Utilisation de NiFi7
- 10.1Considération sur la conception
- 10.2Composants, événements et modèles de processeur
- 10.3La gestion des erreurs
- 10.4Les services de contrôleur
- 10.5Tests et dépannage
- 10.6La contribution à Apache NiFi
- 10.7Travaux pratiques: intégration de données par des périphériques IoT avec une API web / développement d’un processeur Apache NiFi personnalisé à l’aide de JSON / streaming DataFeeds dans HDFS
Instructeur
