Formation Data Science - Spark ML

• Introduction au Big Data
• Les challenges du Big Data
• Batch vs le temps réel dans le Big Data Analytics
• Analyse en Batch Hadoop
• Tour d’horizon de l’écosystème
• L’analyse en temps réel
• In-memory Data & Streaming Data sous Spark
• Introduction à Spark
• Présentation de l’écosystème Spark
• Présentation des différents modes de Spark
• Installation de Spark
• Vue d’ensemble de Spark en cluster
• Spark Standalone cluster
• Spark Web UI

Travaux pratiques

Installation et configuration de Spark

• Les usages de Spark Shell
• Création d’un contexte Spark
• Chargement d’un fichier en Shell
• Manipulation d’opérations basiques sur un fichier avec Spark Shell
• Environnement de développement SBT
• Création d’un projet Spark avec SBT
• Exécution d’un projet Spark avec SBT
• Mode local
• Mode Spark
• Caching sur Spark
• Persistance distribuée

Travaux pratiques

Data Preprocessing

• Présentation générale du Machine Learning
• Terminologies & définitions
• Usages du Machine Learning
• Machine Learning & Spark
• Spark ML API
• DataFrames
• Transformateurs et estimateurs
• Pipelines
• Fonctionnement en pipeline
• DAG Pipelines
• Vérification durant l’exécution
• Passage de paramètres
• General Machine Learning Pipeline
• Sélection de modèles via une validation croisée
• Les types supportés, les algorithmes et les utilitaires
• Les types de données
• Les fonctionnalités d’extraction et les statistiques basiques
• Clustering
• K-Means
• Mise en place le Clustering en utilisant K-Means
• Gaussian Mixture
• Power Iteration Clustering (PIC)
• Latent Dirichlet Allocation (LDA)
• Présentation du filtrage collaboratif
• Classification
• Régression
• Exemple de régression
• Mise en place une classification en utilisation la régression linéaire
• Mise en place un système de recommandations avec le filtrage collaboratif

Travaux pratiques

Utilisation du Machine Learning sous Spark