IA & Data

Formation Spark - Développer des applications pour le Big Data

3 jour(s) • 21h

Éligible OPCO

8,8/10 avis apprenants

Description

Objectifs de formation : à l’issue de la formation, le stagiaire sera capable de maîtriser le framework Spark pour traiter des données hétérogènes et optimiser les calculs.

Maîtriser les concepts fondamentaux de Spark
Savoir intégrer Spark dans un environnement Hadoop
Développer des applications d’analyse en temps réel avec Spark Streaming
Faire de la programmation parallèle avec Spark sur un cluster
Manipuler des données avec Spark SQL
Avoir une première approche du Machine Learning

Chefs de projet
Data Scientists
Développeurs
Architectes

Avoir des bonnes connaissances de Java ou Python
Avoir des notions de calculs statistiques

1
Introduction d'Apache Spark
- Présentation de l'histoire de Spark
- Les versions de Spark
- Spark vs Apache Hadoop
- Les modules de Spark
- Travaux pratiques : Installation et paramétrage de Spark. Première utilisation basique
2
Programmation avec les Resilient Distributed Dataset
- Définition des RDD
- Création, manipulation et réutilisation des RDD
- Accumulateurs et variables broadcastées
- Utiliser des partitions
- Travaux pratiques : Utilisation de divers datasets avec des RDD, usage de l'API de Spark
3
Données structurées avec Spark SQL
- SQL, Dataframes & Datasets
- Présentation des types de sources de données
- Interopérabilité avec les RDD
- Performance de Spark SQL
- JDBC/ODBC server & Spark SQL CLI
- Travaux pratiques : Utilisation de Datasets via des requêtes SQL, création d'une connexion à une base externe.
4
Spark sur un cluster
- Présentation des types d'architectures
- Paramétrage d'un cluster en Standalone
- Package d'une application et ses dépendances
- Déploiement d'applications avec Spark-submit
- Dimensionnement d'un cluster
- Travaux pratiques : Création et mise en oeuvre d'un cluster Spark
5
Spark Streaming : analyse en temps réel
- Principe de fonctionnement
- Définition ds DStreams
- Présentation des types de sources
- Manipulation de l'API
- Comparaison Spark Streaming & Apache Storm
- Travaux pratiques : Consommation de logs avec Spark Streaming
6
GraphX : Manipulation de graphes
- Présentation de l'outil
- Les différentes opérations
- Création de graphes
- Vertex & Edge RDD
- Présentation des algorithmes
- Travaux pratiques : Manipulation de l'API GraphX à travers différents exemples
7
Machine learning & Spark
- Introduction au Machine Learning
- Les classes d'algorithmes
- Sprak ML & MLlib
- Implémentations des algorithmes dans MLlib
- Travaux pratiques : Utilisation de SparkML & MLlib

Ils nous font Confiance

Nos partenaires de confiance

Questions fréquentes

FAQ : Formation Spark - Développer des applications pour le Big Data

Oui, mais la prise en charge d'une formation professionnelle par un OPCO dépend de votre opérateur de compétences, de votre branche d'activité et des critères de financement applicables. Ascent Formation vous accompagne dans l'identification des possibilités de financement adaptées à votre entreprise.
Une formation inter-entreprises réunit des participants issus de différentes organisations, tandis qu'une formation intra-entreprise est organisée pour les collaborateurs d'une même entreprise. Le format intra permet notamment d'adapter le contenu et les modalités aux besoins spécifiques de vos équipes.
Selon la formation proposée, il est possible de suivre une formation professionnelle à distance, en présentiel ou selon d'autres modalités disponibles. Consultez les informations de la session concernée ou contactez-nous pour connaître les formats possibles.
Oui, une formation professionnelle peut être adaptée aux objectifs, au niveau des participants et aux besoins opérationnels de votre entreprise. Ascent Formation vous propose des parcours personnalisés pour accompagner le développement des compétences de vos équipes.