Description
Objectif général de la formation : Permettre aux participants de concevoir, développer et exploiter des projets Big Data en utilisant Spark et Python, tout en maîtrisant les outils analytiques et de visualisation. Modalité : Toutes les modalités (présentiel, classe virtuelle et hybride) sont possibles Lieu possible de réalisation : Locaux du bénéficiaire ou locaux d’Ascent Formation, en France métropolitaine et dans les DROM-COM Nombre maximal de participants : 20 Niveau SAME visé : Maîtrise (M) Compétences visées : Maîtriser les concepts de l’écosystème Big Data et son architecture. Manipuler et analyser des données massives avec PySpark et Python. Comprendre et appliquer des algorithmes de Data Analytics et Machine Learning sur Spark. Produire des visualisations dynamiques et interactives pour restituer les résultats.
Objectifs pédagogiques
- Comprendre l’écosystème technologique nécessaire pour réaliser un projet Big Data.
- Utiliser l’API PySpark pour interagir avec Spark en Python.
- Manipuler les données avec PySpark.sql.
- Appréhender les différentes classes d’algorithmes du Data Analytics pour répondre aux besoins métiers.
- Écrire des traitements Data Analytics/Machine Learning avec Python sur Spark.
- Appréhender la data visualisation pour restituer des analyses dynamiques.
Public concerné
Data scientists et data analysts souhaitant travailler avec Spark et PySpark.
Développeurs et ingénieurs impliqués dans des projets Big Data et Machine Learning.
Professionnels souhaitant optimiser leurs processus analytiques à grande échelle.
Prérequis
Connaissances en programmation Python.
Notions de base en statistiques et algorithmes de Machine Learning.
Familiarité avec les concepts Big Data et les systèmes distribués (souhaitée).
Déroulé du programme
1
Jour 1 : Introduction à l’écosystème Big Data et Spark (6 heures)
6h
- Concepts clés de l’écosystème Big Data (2 heures)
2
Comprendre les architectures distribuées (Hadoop, Spark).
3
Explorer les besoins technologiques des projets Big Data.
4
Travaux pratiques : Analyse d’une architecture Big Data et de ses composants.
- Introduction à Apache Spark (2 heures)
5
Présentation de Spark et de ses modules (Spark SQL, MLlib, Streaming).
6
Cas d’usage et positionnement par rapport à Hadoop.
7
Travaux pratiques : Installer et configurer Spark.
- Bases de PySpark (2 heures)
8
Introduction à l’API PySpark.
9
Exécution des premières commandes avec Spark en Python.
10
Travaux pratiques : Manipuler des données simples avec PySpark.
11
Jour 2 : Manipulation et analyse des données avec PySpark (6 heures)
6h
- Utilisation de PySpark.sql (3 heures)
12
Création et gestion de DataFrames.
13
Exécution de requêtes SQL sur des données massives.
14
Travaux pratiques : Analyser des jeux de données avec PySpark.sql.
- Transformation des données (3 heures)
15
Filtrage, regroupement et jointures.
16
Optimisation des traitements avec Spark.
17
Travaux pratiques : Réaliser des transformations complexes sur un jeu de données.
18
Jour 3 : Introduction au Machine Learning avec Spark (6 heures)
6h
- Algorithmes de Machine Learning avec MLlib (3 heures)
19
Présentation des classes d’algorithmes (classification, régression, clustering).
20
Déploiement d’un modèle de classification.
21
Travaux pratiques : Construire un modèle de régression sur un dataset.
- Optimisation et évaluation des modèles (3 heures)
22
Validation croisée et hyper-paramétrage.
23
Mesures de performances des modèles (précision, rappel).
24
Travaux pratiques : Évaluer et optimiser un modèle de clustering.
25
Jour 4 : Restitution des analyses avec visualisation de données (6 heures)
6h
- Introduction à la visualisation dynamique (3 heures)
26
Outils de visualisation compatibles avec Spark.
27
Création de graphiques interactifs avec Python (Matplotlib, Seaborn).
28
Travaux pratiques : Créer des visualisations pour analyser des tendances.
- Création de tableaux de bord dynamiques (3 heures)
29
Intégration avec des outils de reporting (Tableau, Power BI).
30
Déploiement d’un tableau de bord interactif avec des données Spark.
31
Travaux pratiques : Concevoir un tableau de bord dynamique basé sur des métriques analytiques.
32
Jour 5 : Mise en œuvre complète d’un projet Big Data (6 heures)
6h
- Réalisation d’un projet complet (6 heures)
33
Définition des besoins métiers et techniques.
34
Mise en œuvre des étapes : ingestion, transformation, analyse et restitution des données.
35
Travaux pratiques : Présentation d’un projet Big Data complet par chaque participant.
Informations
Durée
5 jour(s)
30h
Tarif
Sur demande
Formations similaires
IA & Data
Migration vers le Cloud
2 jour(s)
Sur demande
IA & Data
Agents IA — Concevoir des systèmes autonomes avec LangChain et LangGraph - Avancé
3 jour(s)
Sur demande
IA & Data
AI Act européen — Comprendre vos obligations et vous mettre en conformité - Niveau débutant
1 jour(s)
Sur demande
IA & Data
Analyse bayésienne (4-107)
3 jour(s)
Sur demande